你是正确的,答案应该是or,而不是to.
如果是 do you prefer tea to coffee?就是要确认你是不是更喜欢茶?那么回答的就必须是yes (or No).比如说,如果你的确更喜欢茶,回答就是 Yes,I do.否则就是,No,I don't.
而根据你提供的答案,either is ok.那么,提问的人就是想知道你更喜欢哪一个,而不是让你确认你更喜欢茶.这种情况下,答案只能是or.
事实上,如果你google一下 do you prefer coffee or tea,就会找到不少类似的句子.因为这种表达在英语国家很常见.