They作主语,asked是谓语动词； me是宾语； to go fishing with them作宾语补足语（宾补）
me与to中间有个to,是因为ask sb.to do sth.固定搭配的缘故（叫某人做某事）