正争奪進忠所打下的常德，進忠燒毀常德的所有房屋然後撤兵走了。
赤心等放棄這座空城引兵而東，所到之處當地守将都燒營棄城出逃，湖南已經收複的州縣為之一空。
胤錫于是率領赤心等進入湘潭與騰蛟相見。
騰蛟命令胤錫去江西，自己帶進忠等開向長沙。
六年正月，官兵正臨近長沙，騰蛟在湘潭被俘，各軍于是解散了。
赤心等開赴廣西，沿途在衡州、永州、郴州、桂陽州搶劫。
胤錫當時與胡一青在防衛衡州，戰敗後逃往桂陽。
當初赤心等進入廣西，龍虎關守将曹志建讨厭他們奸淫擄掠，并恨胤錫這個人，胤錫自己還不知道。
有人對志建說胤錫将召忠貞營暗算他，志建于是在夜間派兵包圍了胤錫，殺死了他的一千多随行士兵。
胤錫和他的兒子逃進富川的瑤民山洞中。
志建搜得很緊，瑤民悄悄把他們送給監軍佥事何圖複，然後從小路出關到了梧州。
正好永明王派大臣嚴起恒、劉湘客來安撫忠貞營，走到這裡時赤心等人已經到了賓、橫二州。
于是他們把胤錫載到肇慶拜見永明王。
志建遷怒于圖複，把他誘殺了，圖複滿門都給抄斬。
胤錫來到肇慶，當時馬吉翔及李元胤、袁彭年等都把持權柄，各樹黨羽。
胤錫于是跟吉翔要好，激赤心等東來，跟元胤過不去。
并且寫信給瞿式耜想離間他和元胤，假稱永明王有密诏讓自己和式耜暗算元胤，永明王對此很不高興。
元胤的同夥丁時魁、金堡又講他喪師失地，永明王于是讓他總統兵馬，移駐到梧州去。
胤錫認為赤心等人不值得依賴，想遠遠結交孫可望作為強有力的後援，就假傳永明王的命令封他為平遼王。
胤錫不久後來到浔州，因心中有火氣生了病，十一月裡死了。
永明王追贈胤錫為浔國公，谥文忠。