成语貌似很少有形容读书不好的,不过有个“两脚书橱”是形容死读书,讥讽读书很多而不能灵活运用的人.
——清·赵翼《陔余丛考·成语》：“齐陆隆,学极博,而读《易》不解文义.王俭曰：“陆公书橱也.”
我想还有“两耳不闻窗外事,一心只读圣贤书.”也可以符合你的要求.
现在只读圣贤书已经不能符合社会发展要求了,现在提倡素质教育,多方面发展（汗,我都觉得亏心）……
但是总归还是要劝你,开卷有益,多读书是有好处的,心浮气躁,没看到好处就妄加评论,或者认为读书是不务正业也是不对的.
只要掌握好度,读书会是一件对人大有裨益的事情.