a-3b=(5,m)-3(3,-1)=(-4,m+3)
a+b=(5,m)+(3,-1)=(8,m-1)
因为a-3b与a+b互相垂直,所以
(-4,m+3)(8,m-1)=-32+(m+3)(m-1)=0
m^2+2m-35=0
所以m=-7或5.