首先想说一下 that 应该是在house 和 i间被省略的
这里 house是先行词 that是关系代词 充当从句的宾语 故可以省略 又如：
the person （that）i came across the other day turned out to be my long-lost brother
当关系代词充当的是主语时 就不可以省略
ps：你给出的句子也可以这么说：
the house where i grew up has been taken down