设棋子共有x颗，第一次分每等分a颗；第一次分每等分b颗；第一次分每等分c颗；则
x=5a+4；
3a=5b+3；
2b=5c+2；
化简可知：6x=125c+104；
因为x和c都为正整数，
c=1时，x=38.166…，不符合题意；
c=2时，x=59，符合题意；
答：这堆棋子最少有59颗棋子．
用还原法：
最后“取其中2份5等分剩2个”，则最少每份2个（由于取2的倍数，所以最少取2个），所以2份共5×2+2=12个，
所以每份是12÷2=6个，
又“取其中的三份再五等分剩3个”，说明三份共5×6+3=33个，
所以每份是33÷3=11个，
“把它们五等分剩余4个”，说明共有11×5+4=59个，
即这堆棋子最少有59个．