父融，武後時，以正谏大夫同鳳閣鸾台平章事；神龍元年，貶死高州。
琯少好學，風度沈整，以廕補弘文生。
與呂向偕隐陸渾山，十年不諧際人事。
開元中，作《封禅書》，說宰相張說，說奇之，奏為校書郎。
舉任縣令科，授盧氏令。
拜監察禦史，坐訊獄非是，貶睦州司戶參軍。
複為縣，所至上德化，興長利，以治最顯。
天寶五載，試給事中，封漳南縣男。
時玄宗有逸志，數巡幸，廣溫泉為華清宮，環宮所置百司區署。
以琯資機算，诏總經度骊山，疏岩剔薮，為天子遊觀。
未畢，坐善李适之、韋堅，斥為宜春太守。
曆琅邪、鄴、扶風三郡，頻遷憲部侍郎。
十五載，帝狩蜀，琯馳至普安上谒，帝喜甚，即拜文部
俄與韋見素、崔渙奉冊靈武，見肅宗，具言上皇所以傳付意，因道當時利病，箝索虜情，辭吐華暢，帝為改容。
琯既有重名。
帝傾意待之，機務一二與琯參決，諸将相莫敢望。
于是，第五琦言财利幸，為江淮租庸使。
琯谏曰：“往楊國忠聚斂，産怨天下。
陛下即位，人未見德，今又一寵一琦，是一國忠死，一國忠生，無以示遠方。
”帝曰：“六軍之命方急，無财則散。
卿惡琦可也，何所取财？”琯不得對。
北海太守賀蘭進明自河南至，诏攝禦史大夫、嶺南節度使，入謝，帝曰：“朕語琯除正大夫，何為攝邪？”進明銜之，因曰：“陛下知晉亂乎？惟以尚虛名，任王衍為宰相，基祖浮華，不事天下事，故至于敗。
方唐中興，當用實才，而琯一性一疏闊，大言無當，非宰相器。
陛下待之厚，然孰肯為陛下用乎？”帝曰：“何哉？”對曰：“陛下頃為皇太子，太子出曰撫軍，入曰監國，而琯為聖皇建遣諸王為都統節度，乃謂陛下為元子而付以朔方、河東、河北空虛之地，永王、豐王乃統四節度。
此于聖皇似忠，于陛下非忠也。
琯意諸子一得天下，身不失恩，又多樹私一黨一，以副戎權，推此而言，豈肯盡誠于陛下乎？”帝入其語，始惡琯。
以進明為禦史大夫、河南節度使。
會琯請自将平賊，帝猶倚以成功，乃诏琯持節招讨西京、防禦蒲潼兩關兵馬節度等使，得自擇參佐。
乃以兵部尚書王思禮、禦史中丞鄧景山為副，戶部侍郎李揖為行軍司馬，中丞宋若思、起居郎知制诰賈至、右司郎中魏少遊為判官，給事中劉秩為參謀。
琯分三軍趨京師：楊希文将南軍，自宜壽入；劉悊将中軍，自武功入；李光進将北軍，自奉天入。
琯身中軍先鋒。
十月庚子，次便橋。
辛醜，中軍、北軍遇賊陳濤斜，戰不利。
琯欲持重有所伺，中人邢延恩促戰，故敗，士死麻葦。
癸卯，率南軍複戰，遂大敗，希文、悊皆降賊。
初，琯用春秋時戰法，以車二千乘缭營，騎步夾之。
既戰，賊乘風噪，牛悉髀栗，賊投刍而火之，人畜焚燒，殺卒四萬，血丹野，殘衆才數千，不能軍。
琯還走行在，見帝，肉袒請罪，帝宥之，使裒夷散，複圖進取。
琯雅自負，以天下為己任，然用兵本非所長。
其佐李揖、劉秩等皆儒生，未嘗更軍旅，琯每詫曰：“彼曳落河雖多，能當我劉秩乎？”帝雖恨琯喪師，而眷任未衰。
崔圓自蜀來，最後見帝，琯謂帝不見省，易之。
圓以金畀李輔國，不淹日被一寵一，遂怨琯。
琯數稱疾不入。
會禦史大夫顔真卿劾奏谏議大夫李何忌不孝，琯素善何忌，不欲以惡名锢之，托被酒入朝，貶西平郡司馬。
琴工董廷蘭出入琯所，琯昵之。
廷蘭藉琯勢，數招赇謝，為有司劾治，琯訴于帝，帝因震怒，叱遣之，琯惶恐就第。
罷為太子少師。
從帝還都，封清河郡公。
琯之廢，朝臣多言琯謀包文武，可複用，雖琯亦自謂當一柄一任，為天子立功。
善琯者暴其言于朝。
琯方日引劉秩、嚴武與宴語，移病自如。
帝以琯虛言浮誕，内鞅鞅，挾一黨一背公，非大臣體。
乾元元年，出琯為邠州刺史，逐秩、武等，因下诏陳其比周狀，喻敕中外。
始，邠以武将領刺史，故綱目廢弛，即治府為營，吏攘民居相淆歡。
琯至，一切革之，人以便安，政聲流聞。
召