选项C正确!
解析：
f(x)=(xa+b)(a-xb)=x*|a|²-x²a*b+a*b-x*|b|²=-x²a*b+（|a|²-|b|²）x +a*b
若函数f(x)在R上是偶函数,则：
对于任意实数x,都有f(-x)=f(x)
即-(-x)²a*b+（|a|²-|b|²)(-x) +a*b=-x²a*b+（|a|²-|b|²）x +a*b
易得：2（|a|²-|b|²)x=0
要使上式对于任意实数x都成立,须使得：
|a|²-|b|²即|a|=|b|