it doesn't matter who it is I'm talking to.
我认为 这句话 matter之后是强调句（作整句话的真正主语）,但是为什么没有that?强调句的that是固定结果,本来不可以省略的.
是“固定结构”，打错了，不好意思。
另外在知道里也有看到不少人说it doesn't matter引导的是宾语从句，我不认同。明明就是主语从句嘛！