将用什麼去鞭策激勵普天之下忠臣義士的抗敵勇氣呢？”李彌遜再三強調不能簽訂和約。
秦桧曾經邀請李彌遜到他的私人住宅，說：“目前政府官員正空缺，假如你能夠對宋金和議不再提反對意見，我當會請你去兩地同時任職。
”李彌遜回答“：我李彌遜受國家恩惠已經很多，怎麼敢因一些小利而忘記國家民族大義呢。
看看現在正在進行的宋金和議一事，舉國上下都不認為應該這樣做，我隻有離開這裡以報答相公的恩典了。
”秦桧無言以對。
第二天，李彌遜再次上奏疏，言詞急切直率，又指出：“送伴使察言觀色、百般逢迎金國使者，不顧及國家利益，不體恤百姓感情，請求另選忠義之士輔助處理國事。
”秦桧更加憤怒。
李彌遜準備稱疾引退，高宗告訴大臣挽留他。
當時宋金和議已經決定，有贊成和議的人至此說：“過去金人出使明州時，欽宗雖然多次向金人跪拜也沒有大臣們抗議。
”朝野輿論一片嘩然。
由于李彌遜在朝廷努力抗争，秦桧雖然不肯聽從他的意見，但也害怕公衆的輿論。
南宋再次與金使商談和議條件時，決定議和但不接受金人的冊封，金宋不以君臣之禮相待，宰相秦桧去使館面見金使，可以接受他們的國書放入宮中，金人許多條件都得到了滿足，隻有君臣之禮沒有談判的餘地。
紹興九年(1139)春，李彌遜再次上奏疏要求辭宮回歸田裡，以徽猷閣直學士身份任筠州知州，不久又改任漳州知州。
紹興十年(1140)，在連江西山隐居。
這一年，金兀..分四路大舉進攻南下，第二年又入侵淮西，攻進壽春，一切竟如李彌遜的預言。
紹興十二年(1142)，秦桧乘着金兵失敗後收兵北歸，将諸路軍馬全部撤回，再次乞求與金人和談。
秦桧開始追究過去那些仗義直言敢于反抗他的大臣之罪，秦桧的走狗立即指出李彌遜和趙鼎、王庶、曾開四人曾同時阻止宋金和議。
李彌遜于是被撤職，十餘年間不準與朝廷有書信往來，不得考課升遷，不能蔭庇自己的兒子做官，不能按次序獲得封爵，且以上禁令終生不能改變，李彌遜仍然常常憂國憂民，沒有絲毫對朝廷的怨恨。
紹興二十三年(1153)，皇上懷念他，考慮到他忠誠有氣節，特下诏恢複李彌遜敷文閣待制官職。
李彌遜著有奏議三卷、外制二卷、《議古》三卷、詩十卷。
有一弟李彌大。