A、大肠杆菌是原核生物，草履虫是真核生物，两者在结构上的重要区别是前者无核膜，A正确；
B、大肠杆菌有细胞壁，B错误；
C、所有的细胞都具有细胞膜，C错误；
D、大肠杆菌与草履虫都含有DNA，D错误．
故选：A．