∵（a-3）x²y^|a|+（b+2）是关于x，y的五次单项式，
∴

|a|＝3 b＝−2 a−3≠0

，
解得：

a＝−3 b＝−2

，
则a²-3ab+b²=9-18+4=-5．