使台谏大臣黃萬石誣陷他犯有貪贓罪，罷免了他的官職。
北軍攻取鄂州，才起任湖南提刑。
當時郡縣強盜擾亂，李芾命令所部發動民兵自衛，每縣給予一面黑色旗幟，下令說“：作亂的人斬殺在旗幟下。
”百姓才安定。
于是号召派遣軍隊，挑選壯士三千人，使鄉裡豪強尹奮忠率領救援朝廷，另外招募民兵集中在衡州做防禦的準備。
沒有多久，賈似道在蕪湖兵潰，于是恢複李芾的官職，知潭州兼湖南安撫使。
當時湖北州郡都已經歸附北兵，李芾的朋友勸他不要去，說：“沒有辦法，就單人前往就行了。
”李芾哭泣說“：我難道貪于為自己計議嗎？隻因世代受到國家的恩惠，即使是在被廢棄期間我還想着如何報國，今天僥幸任用我，我以家許國了。
”當時他的愛女死了，李芾痛哭一場而出發。
德..元年(1275)七月，到潭州，潭州軍隊被調走将盡，敵人遊騎已進入湘陰、益陽諸縣，李芾急急忙忙招募了不滿三千人的軍隊，又結交溪峒蠻作為聲援，修繕器械，儲備糧草，在江中植立栅欄修築營壘，命令劉孝忠統領各軍。
吳繼明從湖北來到，陳義、陳元從戍守巴蜀回來，李芾奏請留下他們戍守潭州，推許誠心任用他們，都得到他們的拼死效力。
大元右丞阿裡海牙已攻克江陵，分軍戍守常德遏制諸溪峒蠻，而以大兵進入潭州。
李芾派遣将領於興率兵在湘陰抵禦，於興戰死。
九月，又調遣吳繼明出城抵禦，軍隊來不及出發，而元大軍已經包圍潭州城。
李芾意氣激昂登上城牆，與諸将分地守禦，百姓不管老弱也都出來，結成軍保協助作戰，沒有命令而自動集合起來。
十月，元兵攻打西邊營壘，劉孝忠等人奮力戰鬥，李芾冒着箭石親自督戰。
城中箭用完了，有舊箭都是箭羽壞了，李芾命令收集民間羽扇，箭羽立即備辦。
又苦于沒有鹽吃，李芾取出府庫中的積鹽席，焚燒提取鹽供給。
有受傷的，李芾親自撫問慰勞，每天用忠義勉勵他的将士。
死傷的人雜亂衆多，人們還是含忍血淚登城殊死戰鬥。