注意,“with us”意思仅是"和我们",只是中文习惯加个“一起”.而together是“一起”,真正完整的“和某人一起”短语是“together with sb”.
不加with sb可能产生歧义,比如你说“Do you want to have lunch together?”,那你到底是和谁一起?当然默认是和你这个说话人一起,但具体语境下如果你说话时用眼神示意着另一群人,则这句话完全可能被理解为问“是否愿意和另外人一起吃饭”.
所以你要替代的话万无一失就说Do you want to have lunch together with us.
口语情况下完全可以就像你说的那样替代,因为面对面对话有语境所以产生歧义的概率还是蛮小的.