到軍中監督軍隊，劉光世已經放棄廬州後退，張浚派人激勵其部衆說：“如有一人渡江，立即斬首示衆。
”劉光世迫不得已，駐兵同楊沂中相互呼應，派王德、郦瓊領軍從安豐出謝步，同金軍相遇交戰三次，都擊敗了敵人。
張浚入朝上奏，說劉光世驕惰不戰，不能當大将，請求罷免他。
高宗令他同趙鼎計議，趙鼎說：“劉光世将門子弟，将士很多出自他的門下，罷免他恐怕動搖軍心。
”于是改為護國、鎮安、保靜軍節度使。
右司谏陳公輔彈劾劉光世不守衛廬州，張浚說他沉酣酒色之中，不體恤國家大事，對他說到恢複中原，他便怫然不高興，請求罷免放逐他。
劉光世以疾病請求罷免自己軍政職務，又将所剩餘的财物獻給朝廷。
朝廷拜他為少師，充任萬壽觀使、奉朝請，封他為榮國公，賜給第一等府第，将他的兵力撥給都督府統轄。
陳公輔又說劉光世雖已罷免，但拜他為少師，賞罰不明；中書舍人勾龍如淵又要求收回賜給府第的命令。
高宗說“：劉光世罷去兵權，如果稍加一些恩惠禮遇，那麼衆将知道有後福，都努力報效了。
”終于賜給他。
當初，劉光世屬下多是投降的盜賊，一向沒有紀律；到這時，都督府命令呂祉統轄他的軍隊。
郦瓊殺死呂祉，驅使各軍投降劉豫。
紹興九年，沿用同金講和對臣僚加官進爵的條例，賜劉光世為“和衆輔國功臣”，欲進封他為雍國公、陝西宣撫使。
其弟劉光遠說他為議論譏諷，勾龍如淵當時任中丞，再次論說劉光世不能出朝重領軍職，于是中止對他的封賞。
紹興十年(1140)，金軍圍攻順昌，朝廷拜劉光世為太保，任三京招撫處置使，以援助劉钅奇。
劉光世請求讓李顯忠任前軍都統，又請求将王德撥隸自己。
王德不願受他指揮；李顯忠進至宿、泗時，士兵大多逃散。
進至和州，秦桧力主撤兵，劉光世被召回。
劉光世入朝觐見，任萬壽觀使，改封為楊國公。
病愈後，乞求免去其家庭的科賦徭役，中書舍人張廣阻撓不下。
去世時，五十四歲。
贈他為太師，子孫、甥侄十四人都得到官職，谥号“武僖”。
乾道八年(1172)，追封為安城郡王。
開禧元年(1205)，追封為..王。
劉光世在衆将中最先成為大将。
對自身要求不嚴，統馭軍隊沒有法紀，不願意為國家擔負重任，拖延剿寇時機，一心隻為自己打算，被公衆輿論诋毀。
曾經入朝應對，說：“願意盡力報國，他日史官将會記下我功績第一。
”高宗說“：你不能隻是口說空話，應當付諸行動之中。
”建炎初年，勾結宦宮康履以求自保。
又早日解除兵權，随時勢浮沉，不被秦桧所忌恨，因此能竊居寵榮終其一生，和韓世忠、嶽飛相比，差得遠了。