因为AB=0,所以B的列向量都是Ax=0 的解
又因为B≠0,所以 Ax=0 有非零解
所以 r(A)
r1-r4,r3-r4
0 4 -4
0 a -2
0 1 b-2
1 0 2
r1*(1/4),r2-ar1,r3-r1
0 1 -1
0 0 a-2
0 0 b-1
1 0 2
所以 a=2,b=1.