by one's side表示在某人身边
I am always by your side.
我一直都在你的左右
没有用at的说法
on和side的搭配就是
on one side,on the other side
一方面...另一方面