Japan is to the north of China.
如果是在中国内部的北部（如黑龙江省）,用in the north；
如果是在中国外部的北部,但与中国接壤（如俄罗斯）,用on the north；
如果是在中国外部的北部方向,与中国不接壤,用to the north.（不过确切地说,日本是在中国的东偏北方向.）