你这句The annoying thing made me annoyed是对的
也可以用动词的annoy,就是The The annoying thing annonyed me.（这里是根据你原句用的过去时）