了解情況後，讓黃度拜為右正言。
留正請求推恩給随龍人，甯宗說“：我未見父母，可以推恩到身邊的人嗎？”累積有幾件事留正都違背了皇上的意願，韓..胄又從中挑撥。
八月，皇上手诏留正為少師、觀文殿大學士之職為建康府判官。
不久又因為谏議大夫張叔椿的谏言，留正失去職位。
慶元元年(1195年)六月，皇上诏令留正把太上皇交給他的手诏共八個字呈入，宣布交給史館。
留正恢複觀文殿大學士之職。
當初，劉德秀從重慶進入朝廷，留正不清楚此事，他拜見留正的門客範仲黼請他說句話，留正說：“此人如留在朝廷做官，朝廷一定不得安甯。
”于是讓他任大理簿，劉德秀深感不滿。
到他為谏議大夫時，就論述留正有四大罪行，革除了留正的職位，從此劉德秀年年彈劾留正。
因為張釜的意見，留正貶為中大夫、光祿卿，分司西京，在邵州居住。
第二年，皇上令他自便。
給事中謝源明駁回錄黃，留正遇恩赦遷移至南劍州，再次允許他自便。
留正又為光祿大夫、提舉洞霄宮。
他上書乞求發給俸祿，皇上诏令他恢複原官職退休。
又根據禦史林采的意見，留正依舊以祿大夫的職銜退休。
不久被授予觀文殿學士、金紫光祿大夫。
嘉泰元年(1201)，留正進封為魏國公，恢複少師、觀文殿大學士之職。
開禧二年(1206)七月，死去，終年七十八歲。
朝廷贈他太師之職。
留正進退情況大緻如下：紹熙年間離開朝廷，他恥于與姜特立在同一位子共事而在近郊待罪，五月又入朝，人們仍可惜他離朝不堅決。
他入朝後首先發表意見，要求早日确定嘉王的王儲位子，于是招緻言官苛刻地授用法律條文，指責他抛棄國家，難道是他抱負不夠遠大，意志不夠堅強？有人以此問範仲黼：“留正、趙汝愚二人處理變故方式有何不同？”範仲黼說：“趙汝愚，是與皇上同姓的大臣，留正則是異姓大臣，他被反複降職而不接受教訓，最終離朝。
”聽的人認為這是至理名言。
留正著有《詩文》、《奏議》、《外制》二十卷留傳于世。
寶慶三年(1227)朝廷贈他谥号“忠宣”。
其子留恭、留丙、留端，都是尚書郎。
其孫子留元英，是工部侍郎；留元剛，是起居舍人。