如图，在Rt△ABC，∠C=90°，AC=8cm，BC=6cm，
∴AB=10cm，
∴AM为外接圆半径．
设Rt△ABC的内切圆的半径为r，则OD=OE=r，∠C=90°，
∵四边形OECD是正方形，
∴CE=CD=r，AE=AN=6-r，BD=BN=8-r，
即8-r+6-r=10，
解得r=2cm，
∴AN=4cm；
在Rt△OMN中，
MN=AM-AN=1cm，
OM=

5

cm．
故选C．