江陰侯吳高率遼東兵圍攻永平。
曹國公李景隆則率數十萬大軍将攻北平。
成祖與張玉商量，決定先援永平。
燕兵一到，吳高便逃走了，張玉追斬甚多。
然後抄小道襲擊大甯，俘虜多人而返。
駐紮會州。
開始設立五軍，張玉統領中軍。
當時李景隆已圍攻北平，成祖回師，雙方大戰于鄭村壩。
李景隆戰敗，成祖乘勝直抵城下。
城中守軍呐喊而出，内外夾攻，南軍大潰。
第二年，張玉随軍進攻廣昌、蔚州、大同。
探子報告說李景隆收集潰兵，号稱百萬，即将來到。
張玉說：“兵貴神速，我們要先占白溝河，以逸待勞。
”燕軍駐紮河上三日後，李景隆才到，燕兵以精銳騎兵迅速進擊，又大敗之。
并進拔德州，追趕到濟南，圍攻三月後，解圍而返。
随後再次出兵，破滄州，擒徐凱，進攻東昌，與盛庸軍相遇。
成祖率數十名騎兵繞到其後。
盛庸将他們層層包圍起來，成祖奮擊才得以沖出重圍。
張玉不知成祖在何處，便突入陣中拼力而戰，格殺數十人，自己也受傷而死。
終年五十八歲。
燕兵興起以來，轉戰三年，兵鋒極銳。
現在損失大将，全軍氣餒。
回師北平後，諸将叩首請罪。
成祖說：“勝敗乃是常事，不必在意，隻可惜失去了張玉。
正是艱難之際，我卻失去了一位好幫手。
”成祖淚流不止，諸将也都哭了。
此後譚淵死于夾河，王真死于氵肥河，成祖雖然悲悼痛惜，卻都不如當初對張玉。
建文四年(1402)六月，成祖稱帝，追贈張玉為都指揮同知。
九月初四日，又追贈他為榮國公，谥号忠顯。
洪熙元年(1425)三月，張玉被加封河間王，改谥忠武，與東平王朱能、金鄉侯王真、榮國公姚廣孝一起配享成祖廟庭。