（x-5)^2+|m|=0
∴x-5=0
m=0
∴x=5
m=0
﹣2ab^y+1与4ab^2是同类项
∴y+1=2
∴y=1
∴m=0,x=5,y=1时
(2x^2-3xy+6y^2)-m(3x^2-xy+9y^2)
=2x^2-3xy+6y^2
=50-15+6
=41