二十年，朝内外官員紛紛舉薦他，他都不赴任。
弘治初年，孝宗召張元祯撰寫《憲宗實錄》，升為左贊善。
他上言道“：人君不以推行王道為信念，就不是大有作為的君主。
陛下養德東宮時就已經具有大有作為的希望。
近來陛下卻頗推崇異端，寵愛親近的人，以此蠱惑聖心；追求财利，沉迷于玩樂，以此荒廢聖心；開權貴幸臣之門，堵塞言路，以此愚昧聖心。
這樣就不能有大的作為。
希望安定聖志，專心聖學，廣增聖智。
”疏文前後共計萬言，孝宗接納了。
《憲宗實錄》完成，元祯升南京侍講學士，因母親年老需要贍養而回家。
過了很久，朝廷召元祯任《會典》副總裁。
到京就升為學士，擔任禦前講席的講官，孝宗對他很欽佩。
元祯外貌清逸消瘦，身長比一般人矮，孝宗特地為他準備矮小的桌子使用。
幾個月後，因母親去世而離去。
服喪期滿，升南京太常卿。
不久，因朝廷編撰《通鑒纂要》，又召元祯為副總裁。
以原先的官職兼任學士，同時掌管詹事府。
孝宗晚年德行更有長進。
元祯就要求禦前講席增講《太極圖》、《通書》、《西銘》等書。
孝宗立刻取來看，并高興地說：“天生此人，以啟發朕心。
”準備重用元祯，不久孝宗去世。
武宗即位，提升元祯為吏部左侍郎兼學士，進入東閣，專門主管官吏受封的敕書。
元祯向來名望很高。
退隐居家很長時間，晚年才又出仕。
館閣中的人全是他的後輩，見元祯的言語議論、神情姿态，認為不切實情，大多讪笑他。
又因争名位互相傾軋，因此毀謗元祯的話到處流傳，言官紛紛上奏章彈劾元祯。
元祯接連七次上疏要求退休。
劉健極力主張挽留他。
劉健走後，元祯也去世。
天啟初年，追贈谥号文裕。