因为a^2+b^2=1,所以可以令 a=cosx,b=sinx.其中x属于[0,2pi),pi是圆周率.则
a^2+2ab-b^2
=(cosx)^2+2cosxsinx-(sinx)^2 (用倍角公式)
=cos2x+sin2x
=根号2*sin(2x+pi/4)
>=-根号2
因为2x+pi/4属于[pi/4,17pi/4),所以sin(2x+pi/4)可以取到最小值-1,此时2x+pi/4=3pi/2,从而x=5pi/8,对应地可以求出
a=cos(5pi/8),b=sin(5pi/8).
综上,a^2+2ab-b^2的最小值是-根号2.