单指粉笔是不可数,

比如:a piece/stick of chalk 

强调彩色粉笔,也就是说不止一种颜色的时候用复数,

比如:a box of colored chalks