设减去的数是x，根据题意列出比例，
（97-x）：（181-x）=2：5
         5（97-x）=2（181-x）
           485-5x=362-2x
               3x=123
                x=41
答：减去的数是41．
故答案为：41．