，移孝作為忠，是我不敢推辭的。
是我輩先以國家的急務為急，而盡臣子的忠義。
母親長輩的恩德未報答，漸漸已過了十二年，吃飯穿衣、俯仰之間，愧疚日增。
況且我已追服衰麻的喪制，顯伸苫塊的哀傷，增修母墳，倚廬舍待喪事滿，喪事已漸漸進行而再沒有退避的道理，本來不能數月就停止服喪啊。
”于是任命他提舉洞霄宮，沒有接受。
淳..四年(1244)，趙葵授命任同知樞密院事。
上奏書道：“現在天下的事情，其大事有哪幾件？天下有才能的人，其可用者有哪幾個？我按照其大的方面來說明，分辨其可用的來任用他。
讓有勇有謀的人來治兵，派有心計的人來管理錢财，清心寬厚的人擔任治民之職，命剛正嚴明的人來主持監察事務。
為官職選擇人選，不為人來設置官職。
使用得當，使用的時間才能長久，然後就可以責令他取得成效。
”又請求“皇上迅速與宰相大臣商量謀劃，凡是有關國家安全與危險，治世的重要計策應一一列舉上報，按照其先後分别急緩，以圖籌謀策劃，那麼治國的功效可以完成，外部的憂患是不值得怕的”。
又請求“創建遊擊軍三萬人用于長江防守”。
理宗诏令按他的主意行事。
十二月，被任命為知樞密院事兼參知政事。
又特地授予他為樞密使兼參知政事，督察巡視江南、淮南、京西、湖北各路的軍政事務，封為長沙郡公。
不久，擔任建康府知府、行宮留守、江東安撫使。
淳..九年(1249)，特地授命為光祿大夫、右丞相兼樞密使，封為信國公。
四次上表堅持辭職，議論的人以宰相須用讀書人為理由，改職任觀文殿學士，充任醴泉觀使兼侍讀，仍然侍奉朝請。
不久，擔任潭州通判、荊湖南路安撫使，加職特進。
寶..二年(1254)，任廣西路宣撫使。
寶..三年(1255)，改任鎮守荊湖北路，城治設于荊門及郢州(注：郢州當時隸屬京西南路)。
改授荊湖南路安撫使、潭州通判，再次辭職不就，仍然擔任醴泉觀使之職。
寶..五年(1257)，進升少保、甯遠軍節度使，進封魏國公、醴泉觀使兼侍讀。
四次辭職不就，被免職。
開慶元年(1259)，擔任慶元府通判、沿海制置使，不久，授命江南西路、江南東路宣撫使，設置機構于建康府，負責隆興府、饒州、江州、徽州兩地界的防務調遣，當時暫且兼任建康府通判、行宮留守，不久授命擔任江東、江西宣撫使，節制調遣饒州、信州、袁州、臨江、撫州、吉州、隆興的官軍民兵。
訪問老百姓的疾病痛苦，發布政令，升降官員，都允許他根據是否方便合适行事。
景定元年(1260)，授命擔任兩淮宣撫使、揚州通判，進升封為魯國公。
不久，回家休養。
度宗鹹淳元年(1265)，加少傅銜。
鹹淳二年(1266)，請求擔任官職，特地授命他擔任少師、武安軍節度使，進封冀國公。
坐船停靠小孤山，去世，當年八十一歲。
這天晚上，五洲星隕落如箕狀。
贈賜太傅，谥号“忠靖”。