A中液氧只有氧元素一种元素组成，属于单质，故A错；
B中蒸馏水有氢和氧两种元素组成，其一为氧元素，属于氧化物，故B正确；
C中自来水中有水和消毒剂等物质，属于混合物，不属于氧化物，故C错；
D中镁带只有镁一种元素，属于单质，故D错．
故选B．