張玉，字世美，祥符人。
元朝時任樞密知院。
元朝滅亡後，他跟随逃往漠北。
洪武十八年(1385)，前來歸附太祖。
他随大軍出塞，到達捕魚兒海，因功被授為濟南衛副千戶，升為安慶衛指揮佥事。
又随征遠順、散毛諸洞，北逐騷擾邊境的元朝人，追至鴉寒山而返，調任燕山左護衛。
他随燕王出塞，到達黑松林。
又跟随征讨野人諸部，因為他骁勇果敢，善于謀劃，而被燕王重用。
建文元年(1399)，成祖起兵。
張玉率軍奪取北平九門，安撫城中内外，三日遂定。
軍隊将往南，張玉獻計，派朱能東攻薊州，殺死馬宣，降服遵化，分兵攻下永平、密雲，每到一處，都将所獲精銳充實軍中。
張玉因而被提升為都指揮佥事。
這時朝廷派大軍伐燕，都督徐凱駐紮河間，潘忠、楊松駐紮莫阝州，長興侯耿炳文率三十萬軍隊駐紮真定。
張玉勸說道“：潘、楊二人有勇無謀，可以前去襲擊，俘獲他們。
”成祖便命張玉率領親兵為前鋒，直抵樓桑。
恰好是中秋節，南軍正在設宴。
夜半時分，張玉軍迅速攻破雄縣。
當潘忠、楊松前來救援時，便在月漾橋進行攔擊，生擒他倆，遂克莫阝州。
張玉親率輕騎窺探耿炳文軍。
回來後說耿炳文軍毫無紀律，在當官的中間有失敗氣氛，應當迅速進擊。
成祖遂引兵往西，到達無極時，回頭與諸将商量該往何處。
諸将認為南軍盛多，請求駐紮新樂。
張玉則說“：他們人雖多，但都是新招集的。
我軍乘勝直趨真定，一定能攻克它。
”成祖高興地說“：我有了張玉便足以成大事了。
”第二天便抵達真定，大破耿炳文軍，俘獲副将李堅、甯忠，都督顧成等，斬首三萬，又擊敗安陸侯吳傑軍，燕兵從此大振。