选 b
neither 和 neither of 都有两者都不的意思
因为 后面接了一个 them 所以要用 neither of意思是 他们两个都不的意思
根据语义, 这个男人有两个小孩,但是没有一个小孩和他居住在一起
但是如果是 没有them的话 就要选 neither 了