一般来说doing表示做过了某事,而to do 表示没有做某事（如forget,remember的用法）,而refuse表示拒绝做某事,所以还没有做,用to do.