張知白字用晦，滄州清池人。
幼年酷愛學習，考中進士，經多次升遷河陽節度判官。
鹹平年間(998～1003)上疏奏對，言說當今最要緊的事情，真宗感到十分奇異，奉召應試舍人院，代理右正言。
敬獻《鳳..箴》，出知劍州。
過了一年，奉召考試中書，兼任直史館，真宗親自給他賜予五品官服，判三司開拆司。
江南發生幹旱，張知白與李防分路安撫。
回到京師後，暫時主管京東轉運使事。
天上星象不斷出現，司天将它作為祥瑞上奏，大臣們跪伏在官署表示慶賀。
張知白認為人君應當實行德政來符合上天的旨意，而星象出現群臣跪伏慶賀沒有任何根據，因而張知白陳述治理國家事務的關鍵。
真宗對執政大臣們說“：張知白可說是忠于朝廷啊。
”真宗東封泰山，張知白任右司谏。
張知白又進言說“：鹹平年間，河湟還沒有平定，臣下曾請求罷除郡國所敬獻的祥瑞。
如今天下平安，神靈的賞賜不斷顯現，望将《泰山諸瑞圖》放置在玉清昭應宮，将副本收藏在秘閣。
”
陝西發生饑荒，朝廷命令張知白進行巡視。
不久任鄧州知州。
正好關右流民到達鄧州，張知白既發給流民糧食，又招募流民供給糧食來救濟饑民。
提升為龍圖閣待制、知審官院，再升任尚書工部郎中，出使契丹。
張知白認為朝廷的官制，重視京官而輕視外官，給朝廷引用唐李峤建議讓台閣主管屬國郡縣，于是自己上疏請求出京補官，未獲批準，于是被朝廷命令督察在京的刑事案件，堅決請求離開京師外補，任青州知州。
回到京師，請求主管國子監。
真宗說：“張知白難道對複雜繁難的事務感到厭倦嗎？”執政大臣說：“張知白在朝内外任職，沒有為自己作過任何謀劃。
”于是張知白被升任為右谏議大夫、權禦史中丞，授予給事中、參知政事。
郊祀禮儀完成後，張知白升任尚書工部侍郎。
這時同僚王曾升任為給事中，官級仍在張知白之上，張知白心裡不能平衡，多次上表請求辭職。
王曾也請求位居張知白之下，朝廷于是給張知白授予金紫光祿大夫，又任為給事中、判禮儀院。
王曾罷官，将王曾所任之職授予張知白。
這時王欽若任宰相，張知白與王欽若的意見經常不一緻，于是張知白聲稱有病而