A、氧气和氢氧化钠固体不反应，可以使用NaOH固体做干燥剂，故错误；
B、二氧化碳与氢氧化钠能反应，不能使用NaOH固体做干燥剂，故正确；
C、氢气和氢氧化钠固体不反应，可以使用NaOH固体做干燥剂，故错误；
D、氮气与氢氧化钠固体不反应，可以使用NaOH固体做干燥剂，故错误．
故选B．