两者主要是细胞壁的结构不同.
革兰氏阳性菌的细胞壁,是一层厚而致密的肽聚糖和磷壁酸组成.肽聚糖的肽链之间通过5个甘氨酸交联着.
革兰氏阴性菌的细胞壁则是多层结构,从内到外依次是：薄薄的肽聚糖层,脂蛋白层/周质层,磷脂层和脂多糖层.革兰氏阴性菌的肽聚糖结构也和革兰氏阳性菌的有所不同,肽链是直接交联在一起的.
细胞壁结构的不同,决定了两类细菌革兰氏染色结果(阳性紫色阴性红色)和对不同类抗生素敏感性的不同.