on the wall是指在墙的表面
而窗户是嵌在墙的里面,所以应该用in the wall
例句：
墙上的窗户都已破旧不堪.
Those windows in the walls are torn and broken.