∵a²+b²+c²+338=10a+24b+26c
∴a²+b²+c²+338-10a-24b-26c=0
可化为（a-5）²+（b-12）²（c-13）²=0，
∴a-5=0，b-12=0，c-13=0，
∴a=5，b=12，c=13．
∵5²+12²=13²，
∴△ABC是直角三角形．
故选：B．