李芾字叔章，他的祖先是廣平人，中間遷居汴京。
高祖父李升進士起家，任官吏享有廉潔的聲名。
靖康年中，金人攻破汴京，用刀逼迫他的父親，李升前去保護父親，與父親都死去。
曾祖父李椿把家遷到衡州，于是成為衡州人。
李芾生下來就聰明敏悟，從小自己樹立，把他的書齋取名叫“無暴棄”。
魏了翁一見到他就以禮相待，認為他有祖風，改書齋的名字叫“肯齋”。
開始以恩蔭補南安司戶，征辟為祁陽縣尉，出來赈濟災荒，就有政聲。
代理祁陽縣令，該縣大治，征召為湖南安撫司幕僚官。
當時盜賊起自永州，朝廷予以招撫，一年多沒有攻克。
李芾與參議鄧炯提調一千三百人攻破其巢穴，擒獲賊人首領蔣時選父子返回，其餘黨徒于是平息。
兼理湘潭縣，縣多大家巨族，前任縣令束手無策不敢冒犯，李芾考核戶籍出查賦稅，不避權貴勢要，賦稅徭役大大平均。
進入朝廷，差任德清知縣。
适值浙西發生饑荒，李芾設置保伍赈濟百姓，救活的人數以萬計。
遷任主管酒庫所。
德清有妖人煽動百姓作亂，百姓蜂起依附，達到幾萬人，朝廷派遣李芾讨伐，盜賊聽說李芾來到，衆人立即潰散回家。
被任為司農寺丞，曆知永州，有惠政，永州人祭祀他。
以浙東提刑的身份知溫州。
溫州瀕臨大海，多強盜出沒，李芾到州盜匪平息，于是以浙東提刑移任浙西提刑。
當時浙西也多盜匪，諸巢穴在太湖中，李芾追尋蹤迹得知他們的出沒之所，于是逮捕他們，盜匪也驚駭散離。
建造虎丘書院以祭祀尹火享，設置學官，親自制訂學規來教育學生，來學習的人很盛。
鹹淳元年(1265)，李芾入官為臨安知府。
當時賈似道當權，前方官事無論大小首先禀告才能實行，李芾獨無所禀問。
福王府有逼迫他人緻死的，賈似道極力為之營救，李芾寫信往複辯論，終于把兇手置之于法。
李芾曾出去巡視火器具，百姓有人不制作火具，李芾詢問什麼原因，說：“是賈似道的家人。
”李芾立即對這人施以杖刑。
賈似道大怒，指