A、油不溶于水且密度比水小，所以用水无法浇灭，故此选项错误．
B、根据防止触电的情况判断，用水浇灭容易导致触电，故此选项错误．
C、泡沫灭火器会喷出液体，对图书造成损害，图书馆内图书起火，要用液体二氧化碳灭火器，故此选项错误．
D、不慎将浓碱溶液沾在皮肤上时，要首先用大量的水冲洗，然后再涂上硼酸中和，故此选项正确；
故选D