应该选的是A.
首先排除B和C.
(B选项是主格,不正确,调整定语从句部分的语序后是he used to be ___,自然不能用主格who；C选项是用于物,不用人)
由于先行词是the man而不是man,对于有不定冠词the作为特指的先行词,定语从句中规定特指的先行词只能用that修饰,而不能用其他（要特别记住!）；如果不是特指的话,D选项的whom也是可以使用的.