祖玄道，為文學館學士。
父成裕，秘書監。
揆一性一警敏，善文章。
開元末，擢進士第，補陳留尉。
獻書阙下，試中書，遷右拾遺，再轉起居郎，知宗子表疏，以考功郎中知制诰。
扈狩劍南，拜中書舍人。
乾元二年，宗室請上皇後号曰“翊聖”。
肅宗問揆，對曰：“前代後妃，終則有谥，景龍不君，韋氏專恣，乃稱翊聖。
今陛下動遵典禮，奈何踵其亂哉？”帝驚曰：“幾誤我家事。
”遂止。
後即張氏，有子數歲，欲立為太子，而帝意未決。
時代宗以封成王，帝從容語揆曰：“成王長，有功，将定太子，卿意謂何？”揆曰：“陛下此言，社稷福也。
”因再拜賀。
帝曰：“朕計決矣。
” 俄兼禮部侍郎。
揆病取士不考實，徒露搜索禁所挾，而迂學陋生，葄枕圖史，且不能自措于詞。
乃大陳書廷中，進諸儒約曰：“上選士，第務得才，可盡所欲言。
”由是人人稱美。
未卒事，拜中書侍郎、同中書門下平章事，修國史，封姑臧縣伯。
揆美風儀，善奏對，帝歎曰：“卿門地、人物、文學皆當世第一，信朝廷羽儀乎！”故時稱三絕。
于是京師多盜，至骖衢殺人，一屍一溝中，吏褫氣。
李輔國方橫，請選羽林騎五百，備徼捕。
揆曰：“漢以南、北軍相統攝，故周勃因南軍入北軍，以安劉氏。
本朝置南、北衙，文武區别，更相檢伺。
今以羽林代金吾，忽有非常，何以制之！”輔國議格。
揆決事明當，然銳于進，且近名。
兄楷，有時稱，滞冗官不得遷。
呂諲政事出揆遠甚，以故宰相鎮荊南，治聲尤高。
揆懼複用，遣吏至諲所，構抉過失，諲密訴諸朝。
帝怒，貶揆袁州長史。
不三日，以楷為司門員外郎。
揆累年乃徙歙州刺史。
初，苗晉卿數薦元載，揆輕載地寒，謂晉卿曰：“龍章鳳姿士不見用，麞頭鼠目子乃求官邪？”載聞，銜之。
及秉政，奏揆試秘書監，江淮養疾。
家百口，貧無祿，丐食取傍，牧守稍厭慁，則去之，流落凡十六年。
載誅，始拜睦州刺史。
入為國子祭酒、禮部
德宗幸山南，揆素為盧杞所惡，用為入蕃會盟使，拜尚書左仆射。
揆辭老，恐死道路，不能達命，帝恻然。
杞曰：“和戎者，當練朝廷事，非揆不可。
異時年少揆者不敢辭。
”揆至蕃，酋長曰：“聞唐有第一人李揆，公是否？”揆畏留，因绐之曰：“彼李揆，安肯來邪？”還。
卒鳳州，年七十四，贈司空，