单从语法来讲,你的不算错,
但是从句意来讲,你这个有歧义.
was borrowed,只说明是被借的,但是是被谁借的,没有说清楚.应该也不一定是“he”借的吧。别人也可以借吉姆的书吧，只是转借给了“he”。这样理解行不？我觉得用that he borrowed合理些