大怒，恰逢侍禦史周操彈劾盧仲賢不應擅自答應割讓四郡，下大理寺追查訊問，召張浚到朝廷。
十二月，任命湯思退為左仆射，張浚為右仆射。
隆興二年(1164)，張俊認為不能同金講和，請求孝宗前往建康，圖謀進兵。
孝宗親自批準王之望等人和所帶禮物一起撤回，诏令荊、襄、川、陝等邊防地區加強戒備，把盧仲賢流放到郴州。
湯思退害怕恐懼，上奏請求将這關系到國家安危存亡的大事，上報太上皇高宗而後再行動。
孝宗批示到三省說“：金朝這樣無禮，你還打算講和。
今天敵人的形勢，不能同秦桧時相比，你的議論不如秦桧。
”湯思退十分驚駭，陰謀驅逐張浚出朝，于是命令王之望、龍大淵急忙上奏兵少糧缺，樓船、兵械沒有準備，人們都議論用四萬人馬守衛泗州，不是好的計策，孝宗對此很感疑惑，于是命令張浚巡視邊境，撤兵罷免招納士兵。
張浚極力乞求罷免自己的職務，孝宗答應了他。
孝宗讓湯思退寫信給金，答應把四郡割讓給金朝。
随後金軍專門從事殺戮搶劫，孝宗中途後悔，湯思退又暗中命令孫造告訴敵人用重兵脅迫講和。
孝宗聽說有敵兵，命令建康都統王彥等人率兵抵禦，并命令湯思退前去監督江、淮地區軍隊，湯思退推辭不去。
金仆散忠義從清河口渡過淮河，議論者極力彈劾湯思退急于求和撤去防備的罪行，于是被罷免丞相職務，不久谪居永州。
于是太學士張觀等七十二人上書，彈劾湯思退、王之望、尹穑等人奸邪誤國，招緻敵人前來，請求把他斬首。
湯思退憂慮害怕而死。
湯思退始終同張浚不和，張浚以雪恥複仇恢複中原為己任，湯思退總是借保境息民作為求和的口實，雙方不斷交鋒，湯思退的主張終于得到推行，但最終以此獲罪，金朝得海、泗、唐、鄧四州，又索取了商、秦，都是湯思退出力的結果。