f(x1,x2,x3)=2x1x2+2x1x3+2x2x3对应的实对称矩阵为
A=[(0,1,1)T,(1,0,1) T,(1,1,0) T];下面将其对角化：
先求A的特征值,由|kE-A|=|(k,-1,-1) T,(-1,k,-1) T,(-1,-1,k) T |=（k-2）*（k+1）^2=0
解得：k=2或k=-1（二重）.
下求方程（kE-A）Z=0的解向量
对特征值k=2,（2E-A）Z=0解得特征向量Z=(1,1,1)T,
单位化α1=(1/√3,1/√3,1/√3) T.
对特征值k=-1,（-E-A）Z=0解得特征向量Z=（1,-1,0）T或（1,0,-1）T,
Schmidt正交化得
α2=（1/√2,-1/√2,0）T,α3=(1/√6,1/√6,-2/√6) T,
取正交矩阵P=(α1,α2,α3)
=[ (1/√3,1/√3,1/√3) T,（1/√2,-1/√2,0）T,(1/√6,1/√6,-2/√6) T]
则有PTAP=diag（2,-1,-1）.
对二次型f(x1,x2,x3)=2x1x2+2x1x3+2x2x3=XTAX作正交变换X=PY得
f（X）=YT(QTAQ)Y=2y1^2-y2^2-y3^2.
得到标准型f（Y）,P为所求正交变换.
T代表对矩阵或向量的转置.
建议找本线性代数的书看看,实际上就是实对称矩阵的对角化.过程比较繁琐,建议检验一下.