设赚了20%的衣服的进价是x元，
则（1+20%）x=120
解得x=100，
则实际赚了20元；
设赔了20%的衣服进价是y元，
则（1-20%）y=120，
解得y=150，
则赔了150-120=30元．
∵30＞20，
∴赔大于赚，在这次交易中，该商人是赔了30-20=10（元）．
故选：A．