如图，∵四边形ABCD是矩形，
∴OA=OB，
∵AC、BD的夹角∠AOB=60°，
∴△AOB是等边三角形，
∴OA=AB=5cm，
∴AC=2OA=2×5=10cm．
故选B．