be angry with sb.是固定短语,“生某人的气”
with you在这个句子里的成分是状语.