该句话说白了的意思是：“如果没人和这个在房间里的男人说话,他就会保持沉默”
该句是个省略句,the man kept silent in the room unless( he was) spoken to.
用过去分词表被动的原因是表示“当他被问话时.”