辭去官位，被免為刑部侍郎、翰林侍讀學士、知大名府。
到王欽若分管南京，宰相丁謂一直讨厭王欽若，就将張知白調任南京留守，意在報複王欽若。
張知白到任後，對王欽若十分友好。
丁謂十分氣憤，又将張知白調任亳州，升為兵部。
仁宗即位後，張知白進升尚書右丞，為樞密副使，以工部尚書同中書門下平章事、會靈觀使、集賢殿大學士。
這時公布進士的等級，張知白被賜予《中庸篇》，中書敬獻此篇，朝廷于是命張知白進行注解，關于修身治家的道理，一定反複陳述。
張知白任宰相，慎用名器，沒有一絲一毫的私心。
經常以太滿作為警戒，雖然身為顯貴，但仍像一般士大夫一樣清貧節儉。
張知白身體一直瘦弱，每天憂慮擔心外族入侵，任中書時突然感染風寒緻使眼睛發花，看不清東西，坐車回到官邸。
仁宗親自詢問他的病情，張知白不能說話，去世。
仁宗因此撤除了上巳宴，給他追贈太傅、中書令。
禮官謝绛建議授予張知白谥号“文節”，禦史王嘉言說“：張知白堅持真理為公殉職，為官正直，可說公正無私了，應贈谥号‘文正’。
”王曾說“：‘文節’是一個美好的谥号。
”于是不改變。
張知白九歲時，父親在邢州過世，靈柩停放在佛寺中。
契丹侵犯河北時，寺宇大多頹敗廢舊，靈柩不能辨認。
張知白考中進士後，步行尋訪，尋得佛寺的大殿基石，猛然明白認出了他父親靈柩的停放處。
打開一看，其父所穿葬服都一一得到了驗證，衆人都感歎他确實孝順。
曾經路過陝州，與通判孫何相遇，閱讀道旁古碑共數千字，回來後，張知白能全部背誦出來，沒有任何遺落。
天聖年間(1023～1032)，契丹大規模檢閱軍隊，揚言要攻取幽州，朝廷為此十分憂慮。
仁宗以此詢問二府，大臣們都說：“準備糧食訓練軍隊，以防備不測。
”張知白說：“不能這樣，契丹與我們剛建交不久，如今大舉發兵，是因為仁宗剛即位，來以此觀察朝廷的舉動罷了，我們怎能自造禍亂呢！如果對他們有懷疑，還不如利用黃河決口，派兵以防止黃河決口為由，契丹也不會擔心。
”不久，契丹果然撤兵離去。
張知白無子，以其兄之子張子思為後，官至尚書工部侍郎後退休。