解答;
因为：(a-3)x^2y^|a|+（b+2)是关于xy的五次单项式
所以：a-3不等于0,2+|a|=5,b+2=0
解得：a=-3,b=-2
所以：a^2-3ab+b^2=9-18+4=-5