，孫虎臣到，捶胸而泣說：“我的兵沒一人聽從命令的。
”夏貴微笑說：“我曾血戰阻擋敵兵了。
”賈似道問“：怎麼辦？”夏貴說“：各軍已喪膽，我們還怎麼戰鬥？您隻有到揚州，招收潰兵，到海上保護皇上，我隻能死守淮西。
”于是解開船離去。
賈似道也和孫虎臣乘一條小船奔向揚州，第二天，宋的敗兵順江而下，賈似道派人到岸上搖旗招呼他們，潰兵都不來，還有罵賈似道的。
賈似道就發檄文給各郡，讓他們去海上保護皇上，上書請求遷都，于是各郡守都逃走，賈似道進入揚州。
陳宜中請求殺賈似道，謝太後說：“賈似道為我三朝勤勞，怎忍心因一朝的罪過，失去對待大臣的禮法。
”隻罷去賈似道平章、都督的官職，讓他管祠觀。
三月，廢除賈似道那些不愛惜百姓的政事，放回那些被流放貶谪的人，恢複吳潛、向士璧等人官職，殺賈似道的幕僚翁應龍，廖瑩中、王庭都自殺。
潘文卿、季可、陳堅、徐卿孫都是賈似道的爪牙，此時都上奏彈劾他。
四月，高斯得請求殺賈似道，朝廷不答應。
賈似道也自己上表請求保命，就下令削去他的三官，但他仍住在揚州不回。
五月，王飊論奏賈似道不忠不孝，太皇太後就下诏讓賈似道退休。
七月，黃镛、王應麟請求把賈似道移到鄰州，沒準許。
王飊拜見太後說：“本朝權臣釀禍，沒有比賈似道更嚴重的，群臣百姓不知多少次上疏，陛下都壓下不實行，這不隻是對人言的不重視，也無法向天下人解釋！”這才把賈似道轉到婺州。
婺州人聽說賈似道要來，就用不緘封的文書驅逐他。
監察禦史孫嵘叟等都認為對他的懲罰太輕，不停地彈奏他。
他又被移到建甯府。
翁合上奏說“：建甯是名儒朱熹的故鄉，就是三尺高小孩也略知好壞，聽說賈似道要來都嘔吐惡心，何況見到他本人！”當時的國子司業方應發權直舍人院，認為诏敕不當，進行駁正，請求把賈似道流放到廣南；中書舍人王應麟、給事中黃镛也這樣說，都沒準許。
侍禦史陳文龍請求皇上聽從衆人的建議，陳景行、徐直方、孫嵘叟及監察禦史俞浙都上疏，于是才把賈似道貶為高州團練使，安置到循州，他家被籍沒。
福王與芮一向憎恨賈似道，招募能殺賈似道的人送賈似道去貶所，有個叫鄭虎臣的縣尉欣然願往。
賈似道動身時，侍奉他的妾還有數十人，鄭虎臣把她們都趕走，奪去賈似道的寶玉，撤去轎蓋，在秋日暴曬下行走，命令轎夫唱杭州歌戲谑他，總斥責賈似道，使他備受淩辱。
賈似道到古寺中，牆上有吳潛南行時寫的字，鄭虎臣叫來賈似道問：“賈團練，吳丞相為什麼會到這兒？”賈似道羞愧不能回答。
孫嵘叟、王應麟上奏說賈似道家積蓄的車馬服飾等，有謀反的迹象，請求殺他。
皇上下诏查問，沒結果。
八月，賈似道到漳州木綿庵，鄭虎臣多次暗示他，讓他自殺，賈似道不聽，說：“太皇允許我不死，有诏讓我死就死。
”鄭虎臣說“：我為天下殺賈似道，即使死了，又有什麼遺憾呢？”就把賈似道拉出去殺了。