过点M作MD⊥AB于D，连接AM，设⊙M的半径为R，
∵四边形OABC为正方形，顶点A，C在坐标轴上，以边AB为弦的⊙M与x轴相切，点A的坐标为（0，8），
∴DA=4，AB=8，DM=8-R，AM=R，
又∵△ADM是直角三角形，
根据勾股定理可得AM²=DM²+AD²，
∴R²=（8-R）²+4²，
解得R=5，
∴M（-4，5）．
故选D．