由前方程得,（3X+Y）（X-Y）=0,3X+Y=0或X-Y=0,Y=-3X,或Y=X.
把Y=-3X代入第2个方程得,X^2+9X^2=40,X^2=4,X1=-2,X2=2；Y1=-6,Y2=6；
把Y=X代入第2个方程得,X^2+X^2=40,X^2=20,X3=-2根号5,X4=2根号5.
所以,原方程组的解是：
X1=-2； X2=2； X3=-2根号5； X4=2根号5；
Y1=-6； Y2=6； Y3=-2根号5； Y4=2根号5.