由a²+b²+c²+338=10a+24b+26c，
得：（a²-10a+25）+（b²-24b+144）+（c²-26c+169）=0，
即：（a-5）²+（b-12）²+（c-13）²=0，
a-5=0，b-12=0，c-13=0
解得a=5，b=12，c=13，
∵5²+12²=169=13²，即a²+b²=c²，
∴∠C=90°，
即三角形ABC为直角三角形．
S_△ABC=

1

2

×5×12=30．
故选：D．