，雨雪不停，百姓失業，請求選擇谏官考察實情予以報告。
加之連年福建、湖南盜賊作亂，範汝為、楊麼相繼而起，朝廷派大軍誅讨，殺戮過當。
現在各地旱荒，流丐滿路，盜賊出入。
應選擇良吏招懷撫納，責令各地監司懲治貪贓，撫恤饑民。
”
大臣建議把四川交子法推廣到江、浙，李光說：“有錢則交子可行。
現在已經聲稱籌辦多少錢，發行多少交子，提出此議的人打算讓朝廷欺騙陛下，使陛下今後不免欺騙百姓。
如果已經籌辦現錢，則目前所發行的錢關子，已是流暢無阻，何至議論紛紛？工部所鑄造的交子務銅印，我不敢下發。
”授任端明殿學士，守台州，不久改任知溫州。
劉光世、張俊接連傳來捷報。
李光說“：觀察金人部署，一定有陰謀。
現在我方已占據東南形勢，敵人萬裡來襲，利于速戰，應當戒令諸将持重而拖延消耗敵人。
不過數月，敵人糧食耗盡，則勝券操在我方手裡。
”授任江西安撫、知洪州兼制置大使，升任吏部尚書；過了一月，授任參知政事。
當時秦桧開始倡議和議，準備張榜告示，打算借李光的名望來壓制民心。
皇上本意不想用李光，秦桧說：“李光有名望，如果一起簽名，浮議會自動停息。
”于是用了李光。
同郡人楊炜上書李光，指責他借依附權相謀取高官，中了敵人奸議，毀掉了平日的氣節。
李光本意認為隻是趁和議之機作自治的打算。
後來秦桧建議撤掉河南守備，奪去諸将兵權，李光極力陳述戎狄狼子野心，和談不可依恃，守備不可撤除。
秦桧憎惡他。
秦桧任命親黨鄭億年為資政殿學士，李光在皇上面前當面反對；又與秦桧在皇上面前辯論，于是說：“看秦桧的心意，是想堵塞蒙蔽陛下的耳目，盜弄國權，懷奸誤國，不可不察。
”秦桧大怒。
第二天，李光請求罷職。
高宗說“：你昨天當面斥責秦桧，舉動像古人。
我退朝後歎息，正要寄心腹于你，為什麼要辭職呢？”李光說：“我與宰相争論，不可留任。
”九次上章請求，于是被授任為資政殿學士、知紹興府，改任提舉臨安洞霄宮。
十一年冬天，禦史中丞萬俟..指責李光陰懷怨恨，貶職為建甯軍節度副使，安置在藤州。
過了四年，移置瓊州。
住在瓊州八年，次子李孟堅因為被陸升之誣為私撰國史，被立案；呂願中又告李光與胡铨詩賦唱和，譏謗朝政，移置昌化軍。
他議論文章考證曆史，怡然自得。
年過八十，筆力精健。
又過了三年，才因為郊祭之恩，複官任左朝奉大夫，任其自便居住。
到江州去世。
孝宗即位後，追任為資政殿學士，賜谥号為“莊簡”。