C
首先,他去的这个动作,肯定是said之前,所以是过去完成时.
其次,had been to表示去了又回来了,had gone to表示去了还没回,还一直在那儿.明显此处应该是他回来了,跟人说他去过杭州几次.
所以,C