二十六年一月，朱元璋大軍進攻平江，築起長牆圍困平江。
張士誠拒守數月之後，朱元璋派人送信招降他，信中寫道“：古之豪傑，都以敬畏上天、順從民意為賢能，以保全自身及家族為明智，漢代窦融、宋代錢亻叔就是如此。
你應當三思，不要自取滅亡，為天下人恥笑。
”張士誠不予回信，屢次突圍決戰，都被打敗。
李伯升知道張士誠已很困乏，便派與自己交好的食客越過城牆，前去勸說張士誠：“當初你所依賴的湖州、嘉興、杭州，現在都已失去了。
你獨守此城，恐怕事變将會在城中發生，到那時你雖想死，卻不能死。
還不如順從天命，派使者去金陵，說你之所以歸順是為了挽救城中百姓，然後打開城門，幅巾待命，應當不會失去萬戶侯之職。
況且你的地盤，就好像你在玩一種賭輸赢的遊戲，得人之物而又失去它，對你又有什麼損害呢？”張士誠仰視良久之後說道“：我會考慮這件事的。
”于是謝客，卻仍不投降。
張士誠以前有一支勇勝軍号稱“十條龍”，個個骁猛善戰，每次披上銀铠錦衣投入戰鬥，現在也都戰敗，在萬裡橋下溺死。
最後丞相張士信也中炮而死，城中喧鬧紛亂，已無鬥志。
二十七年九月，平江城被攻破，張士誠聚集餘部戰于萬壽寺東街，士兵卻都四散逃走。
張士誠隻得倉惶逃回府第，關門自缢，被舊部将趙世雄解救。
大将軍徐達多次派李伯升、潘元紹等去傳達其旨意，張士誠總是閉目不答，後來被擡出葑門，進入船中，不再進食。
到金陵後，竟自缢而死，時年四十七歲。
朱元璋下令備置棺材，将他埋葬。
張士誠被圍困時，對其妻劉氏說：“我如果兵敗将死，你們怎麼辦呢？”劉氏答道：“你不用擔心，妾一定不會背棄你。
”然後令人在齊雲樓下堆積幹柴。
城被攻破時，劉氏将群妾驅趕上樓，命養子張辰保放火燒樓，自己也自缢而死。
劉氏有兩個幼子藏匿于民間，後來不知所終。
在此之前，黃敬夫等三人掌權管事，吳人知道張士誠必敗，所以民間流傳有“黃菜葉”的十七字歌謠，後來他的死應驗了這一傳說。
張士誠自起兵到滅亡，共十四年。