|AA^T| = |A| |A^T| = |A||A| = |A|^2这不会. AA^T 是一个矩阵, |A|^2 是一个数
肯定是 AA^T 的行列式你概念不清
XTATAX = (AX)^T(AX)

这是向量 AX 与 AX 的内积, 是一个数, 与行列式无关这是内积的基本结论
对实向量α
(α,α) >=0
且 (α,α) = 0 的充要条件是 α = 0