这样理解,exchange代表的是相互的交换或交流,也就是双向的,此时应该用with.
像talk、say 这类代表说,向某人说,那么就是一方对一方发出信息,是单向的,此时用to.
所以是 ：
exchange sth with sb
talk to sb about sth
say sth to sb