A、细菌的遗传物质就是DNA，A错误；
B、病毒只有一种核酸，其遗传物质是DNA或RNA，B正确；
C、有细胞结构的生物的遗传物质是DNA，C正确；
D、细胞核和细胞质遗传物质都是DNA，D正确．
故选：A．