讓李善長管理他們，留在濠州數年。
七年，太祖提升李善長之弟李存義為太仆丞，李存義之子李伸、李佑都為群牧所官。
九年，太祖以臨安公主下嫁其子李祺，授為驸馬都尉。
初定婚禮，公主嚴修婦道。
李家受寵顯赫，時人極為羨慕。
李祺與公主結婚一個月後，禦史大夫汪廣洋、陳甯上疏說：“李善長恃寵自縱，陛下因病幾乎十日不能上朝，他不來問候。
驸馬都尉李祺也六日不來朝見，召他至殿前，又不認罪，這是對陛下極大的不敬。
”李善長因此獲罪，被削年祿一千八百石。
不久，太祖又命李善長與曹國公李文忠一起統領中書省、大都督府、禦史台，同議軍國大事，監督圓丘之工。
丞相胡惟庸當初任甯國知縣，因為李善長的推薦，又被提升為太常少卿，後任丞相，兩人因此互相往來。
而李善長的弟弟李存義之子李佑，又是胡惟庸的侄女婿。
十三年，胡惟庸因謀反被誅，被牽連處死者甚多，李善長仍然如故。
禦史台缺中丞，李善長暫理禦史台事務，多次向太祖提出建議。
十八年，有人告發李存義父子實為胡惟庸的黨羽，太祖下诏免死，将他們安置在崇明，李善長沒有表示感謝，太祖因此懷恨在心。
又過了五年，李善長已經七十七歲，因年老約束不了部下。
曾想建造府宅，從信國公湯和那裡借衛士三百人，湯和悄悄告訴他所聽到的事。
四月，京城有百姓受牽累遷徙邊疆，李善長屢次請求赦免其親戚丁斌等。
太祖大怒，将丁斌治罪。
丁斌以前是胡惟庸家的給事，他供出李存義等過去與胡惟庸互相交往的情形。
于是太祖下令将李存義父子逮捕審訊，他們的供詞牽連到李善長，供詞上說：“胡惟庸企圖謀反，派李存義暗地裡勸說李善長。
李善長驚叱道‘：你這麼說到底為了什麼？你們一定要慎重，否則九族都要被滅。
’不久，又派李善長的老友楊文裕去勸他說：‘事成之後，當以淮西之地封你為王。
’李善長驚駭不已，仍不同意，卻又頗為心動。
胡惟庸于是親自去勸說李善長，仍然不同意。
過了一段時間後，胡惟庸又派李存義去勸說，李善長歎道：‘我已經老了。
我死後，你們好自為之。
’”有人又告發李善長說：“将軍藍玉率軍出塞，到捕魚兒海時，俘獲胡惟庸私通沙漠使者封績，李善長卻匿而不報。
”于是，禦史競相上奏彈劾李善長。
而李善長的奴仆盧仲謙等，也告發李善長與胡惟庸之間互相賄贈，經常