应填''I can't."".
原因：从下文得知,我不能留下来吃晚餐,因为哥哥要到我家看望我.can't表示不能够（客观原因造成做不到）；而mustn't表示不应该（主观认为不应该）；