為左仆射。
遇到朝廷營建奉熙陵，呂蒙正追憶感戴先朝所給予的優厚的恩遇，貢獻家财三百多萬作為營建經費的補充。
太宗下葬那天，呂蒙正伏地哭泣極盡悲哀，人們認為合大臣之禮。
鹹平四年(1001)，朝廷诏令呂蒙正以本官同平章事、昭文館大學士。
本朝以來三次任為宰相的，隻有趙普和呂蒙正兩人。
郊祀禮後，加封為司空兼門下侍郎。
六年(1003)，授給他太子太師一職，封為萊國公，改封徐國公，又封為許國公。
景德二年(1005)春天，呂蒙正上表請求辭官回洛陽。
到朝廷告辭那天，坐轎到東園門，命令他的兒子扶着他到宮殿，對皇上說：“對遠方的人要和平共處，停止戰争節省财用，是古往今來的治國上策，希望陛下經常替百姓着想。
”皇上贊許并采納他的意見，于是升任他的兒子呂從簡為太子洗馬，呂知簡為奉禮郎。
呂蒙正在洛陽，有園亭花木，每天與親戚朋友宴會，子孫環列，經常向他敬酒祝壽，怡然自得。
大中祥符以後，皇上朝拜永熙陵，封禅泰山，祀祠後土，經過洛陽，兩次到他家，賞賜給他很多财物。
皇上對呂蒙正說：“卿的幾個兒子誰可以重用？”蒙正回答說“：我的幾個兒子都不足任用。
臣有個侄兒叫呂夷簡，現任颍州推官，具有宰相的才能。
”夷簡從此被皇上知道。
有個叫富言的人，是呂蒙正的賓客。
一天告訴蒙正說：“我的兒子十幾歲，想讓他入書院，事奉廷評、太祝。
”呂蒙正答應了他。
見面後，驚歎說：“這個兒子将來名位與我相似，而功勳事業遠遠超過我。
”令他與自己的幾個兒子同學，供給很優厚。
富言的兒子就是富弼。
後來富弼兩次任宰相，也是以司徒退休。
呂蒙正善于識人才就是這樣。
許國公的封命剛下來，呂蒙正就逝世了，終年六十八歲。
追贈中書令，賜谥号為文穆。
呂蒙正初次任相時，張紳知蔡州，因為貪贓被罷免。
有人對皇上說“：張紳家裡很富，不會這樣，僅僅因為呂蒙正貧賤時請他救濟不如意罷了。
”皇上命令馬上恢複官職，呂蒙正不予分辯。
後來考課院得知張紳的真實情況，又貶張紳為绛州團練副使。
呂蒙正第二次任宰相時，太宗對他說“：張紳果然有贓。
”呂蒙正既不分辯也不感謝。
在西京時，皇上幾次派遣中貴人送命令給他，呂蒙正對待使者的禮節仍像任宰相時一樣，不自我貶低，當時人都很敬重他。