设另一个因式是A
x^2+axy+by^2-5x+y+6=A(x+y-2)
当x=1,y=1时,右边=A*(1+1-2)=0
则左边也等于0
x=1,y=1
x^2+axy+by^2-5x+y+6=0
所以1+a+b-5+1+6=0
a+b=-3 (1)
当x=3,y=-1时,右边=A*(3-1-2)=0
则左边也等于0
x=3,y=-1
x^2+axy+by^2-5x+y+6=0
所以9-3a+b-15-1+6=0
b-3a=1 (2)
解(1)(2)得
a=-1
b=-2