A是正交矩阵的充要条件是行(列)向量两两正交,且长度为1.
看最后一行, 其长度为1, 则有
a^2 + 0 + (2√6/6)^2 = 1
即 a^2 = 1/3
a = ± 1/√3.
考虑到1,3行正交, 所以a=-1/√3.
同理求b恩，我等着，那正负呢直接由1,3列正交计算好了1/√18 + 1/√18 + a2/√6 = 0得 a= - 1/√31,2列正交得 b = 1/√2