首先,这句话是有问题的,应该是what do you mean by saying that.
by是一个介词,后面跟着动名词短语doing that,组成了一个介宾短语.这句话里面you是主语,mean是谓语,what其实是宾语,只不过是特殊疑问句提问需要提前了,最后的这个介宾短语是用来做状语的,表示方式.