Tom's refusing to accept the invitation 是句子的主语,这里refusing是动名词,Tom's是Tom的,upset才是句子的谓语动词,整句：
Tom的拒绝（我的邀请）让我很伤心.
句子不是很地道,可这样修改：
Tom's refusal to the invitation upset me.这里的to是介词
希望对你有帮助