宋神宗元丰五年(1082),（司马光）忽然得了说话艰难的疾病,他怀疑自己即将死去,预先写了遗表（临死前留给皇帝的奏章）,放在卧室内,准备一旦病情危急（缓急,偏意复词,偏指“急”,“缓”无意）,就要把它交给认为可靠的人呈奏给皇帝.新官制实行（神宗元丰五年行新官制）,皇帝指定御史大夫官职说：“这非司马光担任不可.”又打算以司马光为东宫太子师傅.蔡确说：“国家大计刚确定,希望稍微延迟一些时候决定.”《资治通鉴》还没有完成,皇帝特别重视此事,认为此书胜过荀悦的《汉纪》,屡次催促司马光,让他把书写完,并赐给他原颖王府邸（神宗曾于治平元年[1064]封为颍王,颖邸为其治平四年即帝位之前所居府邸）中的书二千四百卷.待到《资治通鉴》撰写完成,加封司马光为资政殿学士.他在洛阳共计居住十五年,天下人认为他是真正的宰相,农夫和村野老人称他为司马相公,妇女儿童也知道他是司马君实（君实,司马光的字）.
神宗皇帝逝世（1085年）,司马光到宫中临丧哭吊,卫士们望见他,都以手加额表示敬意,说：“这是司马相公啊.”他所到之处,百姓拦路围观,骑的马甚至无法走过去.百姓们说：“您不要回洛阳,留下来做天子宰相,让百姓有活路.”（哲宗）皇帝又任命他为尚书左仆射兼门下侍郎,免除他上朝觐见皇帝,准许乘坐轿子,三天一入官署办公.司马光不敢承当这些优待,说：“不见皇帝,无法办理公事.”皇帝下诏命令其子司马康扶着他进殿回答所问,并且说：“无需跪拜.”于是废止了青苗钱（王安石所行的青苗法）,恢复以常平仓出售和收购粮食,以调节米价的的办法.（常平,古代一种调节米价的方法.筑仓储谷,谷贱时增价而籴,谷贵时减价而粜.）哲宗皇帝和垂帘听政的高太后都虚心听取司马光的意见.辽国、西夏使节到来,必定问候司马光的饮食起居.（辽国、西夏的国君）命令各自的边境官吏说：“中国以司马光为宰相了,不要轻易滋生事端,挑起边境冲突.”司马光看到皇帝和太后对自己言听计从,不惜为国家献出自己生命,于是亲自处理各种政务,昼夜不停.宾客们见他身体瘦弱,举诸葛亮饮食很少而事务繁多（积劳而逝）的往事,想以此作为司马光的鉴戒,司马光曰：“死生,是命中注定的.”为国事更加不遗余力.病重后,头脑不再清醒,言语昏乱如说梦话（谆谆在此处指迟钝昏乱的样子,不是反覆教导、谆谆告诫之意）,然而说的都是朝廷、天下的事.
此年九月司马光逝世,终年六十八岁.司马光对于一切东西都看得很淡,一无所好,但是对于学问无所不通,只是不喜欢佛家、道家学说；他说：“他们所说的精深微妙的言辞超不出我所读的儒家经典,他们说的荒诞不经的内容我又不相信.”他家在洛阳有三顷田地,妻子去世时,卖了田地用以安葬,终其一生衣食都很粗劣简陋.