”于是以忠武節度使出任知紹興府，不久加官檢校少傅，改任奉國軍節度使。
秦桧率領執政大臣前去送行，趙鼎對他不禮遇，一揖而去，秦桧越是恨他。
趙鼎走後，王庶入宮晉見，皇上對他說“：趙鼎兩度為相，對于國家有大功，兩次輔助親征都能取勝，又鎮撫建康，朝廷安全無患，真是他人不如啊。
”在此以前，王倫出使金國，聽從趙鼎的指使。
問禮數，就以君臣之分已定作答；問地界，就以大河為界作答。
這兩件是出使的大事，如果不從就作罷。
王倫受命而行。
到這時，王倫與金使都來京，以撫谕江南為名，皇上歎息着對王庶說：“如果五天前得到這個消息，趙鼎豈能離去？”
當初，皇上回到臨安，内侍移竹栽入内宮，趙鼎看到，責怪說：“艮嶽花石之擾，都出自你們，現在想重蹈前轍嗎？”于是上奏其事，皇上變色而謝罪。
有個戶部官送錢入宮，趙鼎召他到相府嚴厲指責。
第二天，問皇上：“某人獻錢嗎？”皇上說“：我要求的。
”趙鼎說“：某人不應獻錢，陛下不應求錢。
”于是調此人到地方去了。
趙鼎曾經舉薦胡寅、魏石工、晏敦複、潘良貴、呂本中、張緻遠等數十人分布朝廷，再次任相後，上奏說“：現在清議贊善的，如劉大中、胡寅、呂本中、常同、林季仲等人，陛下能任用他們嗎？嫉賢長惡，如趙霈、胡世将、周秘、陳公輔等人，陛下能斥去嗎？”皇上為他遷徙世将，而公輔等人不久被任地方官。
皇上曾經在宮中批示把兩個人交付朝廷升遷。
趙鼎說：“疏遠小臣，陛下怎麼知道他們的姓名？”皇上說“：常同稱譽他們。
”趙鼎說“：常同知道他們是賢才，為什麼不公開上章薦引？”
當初，張浚推薦秦桧可共興大事，趙鼎再次任相時也以為是這樣。
但是秦桧心機深險，外表随和而心中持異見。
張浚當初求去，有聖旨召趙鼎。
趙鼎到了越丐祠，秦桧讨厭他逼迫自己，改任他為知泉州，又勸謝祖信指責趙鼎曾接受張邦昌的僞命，于是奪去節钺。
禦史中丞王次翁指責趙鼎治郡廢弛，命令他提舉洞霄宮。
趙鼎從泉州歸來，又上書議論時政，秦桧怕他重新被起用，勸王次翁又指責他曾接受僞命，貪污都督府十五萬缗錢，貶官住在興化軍。
指責的人仍不罷休，朝廷命他遷移到漳州，又責任他為清遠軍節度副使，安置在潮州。
在潮州五年，閉門謝客，不談時事，有人詢問，隻引咎自責而已。
中丞詹大方誣蔑他受賄，囑令潮州郡守把他編在移民中遷移到吉陽軍，趙鼎上謝表說：“白首何歸，怅餘生之無幾；丹心未泯，誓九死以不移。
”秦桧見後說“：這個老頭還像以往那樣倔強。
”
在吉陽三年，隐居深處，門下故吏都不敢通信問候，隻有廣西主将張宗元時時送些醪米。
秦桧知道後，命令本軍每月開其存亡申報。
趙鼎派人告訴他的兒子趙汾說：“秦桧一定要殺掉我。
我死了，你們沒有憂患；不然，禍及一家。
”先生病，自己書寫墓中石，記載鄉裡及任職年月。
到這時，自書墓銘說：“身騎箕尾歸天上，氣作山河壯本朝。
”遺言囑咐他的兒子請求歸葬，于是絕食而死，這時是紹興十七年(1147)，天下人聽說後十分悲痛。
第二年，得旨歸葬。
孝宗即位，追贈為太傅，賜谥号為忠簡，追封為豐國公。
高宗祭廟，以趙鼎配享廟庭，提升任用他的孫子十二人。
趙鼎作文章渾然天成，凡是高宗處理國家要事，常由他草拟，有拟奏表疏、雜詩文二百多篇，号稱《得全集》，流行于世。
論者認為中興賢明宰相，以趙鼎為首。