遼知其肯降，于是支身上三公山，入昌豨家中，并拜候其家人。
昌豨見遼如此誠而無詐，心中歡喜，便随之往見曹操。
曹操先遣昌豨還東海，随後訓責張遼說：“莽然支身赴敵巢穴，這不是大将所為。
”張遼卻拜答道：“因為遼憑著明公昭著四海的威信，既奉旨以往，相信昌豨必不敢加害，所以才會這樣做的。
”
建安七年(公元202年)張遼從讨袁譚、袁尚于黎陽時，鹹有功勞，行中堅将軍。
建安八年(公元203年)曹軍攻袁尚于邺城，袁尚堅壁守疊，久攻不下。
曹操納郭嘉之計讓二袁自行內鬥而先還許都，使張遼與樂進攻拔陰安，遷徙其民至河南。
建安九年(公元204年)曹軍又再攻邺，這次終于攻破邺城，張遼奉命别巡趙國、常山，招降了緣山一帶的賊衆及黑山孫輕等。
然後張遼又從攻袁譚。
建安十年(公元205年)袁譚破後，又受命安撫海濱一帶，征破公孫度所置的營州刺史柳毅、與長廣太守何夔合兵讨允平賊從錢等。
曹操表漢帝，稱張遼曰：“武力既弘，計略周備，質忠性一，守執節義，每臨戰攻，常為督率，奮強突固，無堅不陷，自援枹鼓，手不知倦。
又遣别征，統禦師旅，撫衆則和，奉令無犯，當敵制決，靡有遺失。
論功紀用，宜各顯寵。
”收複東萊諸縣後張遼引軍還邺城，親自出迎張遼，更與遼共載一車，封遼為蕩寇将軍，其見任如此。
建安十一年(公元206年)張遼複又别擊荊州，平定江夏諸縣，率軍還屯臨颍，封都亭侯。
建安十二年(公元207年)其後從征袁尚于柳城前，張遼谏曰：“許都是天子的所在地，乃四方之會。
今公遠征塞北，若劉表遣劉備襲許，據之以号令四方，公之勢去矣。
”曹操策判定劉表必不能任用劉備，遂繼續出征。
行軍中途與敵軍相遇。
張遼壯氣奮發，勸曹操即時赴戰，曹操壯其行為，親自把所持的麾旗授予張遼。
遼遂引軍突擊，大破敵兵，親斬單于蹋頓于陣前。
建安十三年(公元208年)那時候荊州尚未安定，曹操命張遼屯軍于長社。
軍隊臨出發之際，軍中忽有謀反者起事騷動，半夜驚亂起火，全軍盡受其擾。
此時張遼顧謂左右道：“不可驚動。
這一定不會是全營盡反，必然是引起叛變之人，想藉此惑亂他人而已。
于是傳令軍中，隻要不是反亂者安坐勿動。
而張遼則帶領親兵數十人，守立于陣中。
不久情況穩定下來，軍中随即擒獲首謀者，并将其殺除，動亂亦告平定。
赤壁之戰時曹操徙趙俨為都督護軍，護于禁、張遼、張郃、朱靈、李典、路招、馮楷七軍。
建安十四年(公元209年)盧江人陳蘭、梅成占據氐等六縣作叛，曹操于是遣于禁、臧霸等讨伐梅成，又命張遼督領張郃、牛蓋等讨伐梅蘭。
當時梅成詐降于禁，于禁引軍便還。
不料梅成趁機會帶其軍衆往投陳蘭，二人轉入灊山自守。
灊山中有天柱山，高峻約有二十馀裡，道路險狹，陳蘭等衆避于其上，山下進軍難通。
張遼意欲登山進兵，諸将皆說：“此山道路險惡，我軍兵少，很難可以深入用兵。
”張遼卻說：“這正是所謂“一與一，勇者得前耳”（隻有勇者可以前進）。
”于是進至山下安營，起兵上山攻擊，終于斬下陳蘭、梅成首級，盡虜其衆。
曹操論諸将功勞，說：“登天山，履峻險，以取蘭、成，蕩寇（蕩寇将軍張遼）功也。
”于是增其邑，假節。
當曹操征孫權無功而還時，任命張遼與樂進、李典等部領七千馀人馬屯守于合肥。
建安十八年(公元213年)與臧霸同為征濡須口的前鋒，攻破孫權江西營，獲孫權都督公孫陽。
建安十九年(公元214年)孫權大将呂蒙奇襲攻下盧江的皖城，張遼在增援途中得知皖城失守，無奈被迫退軍。
建安二十年(公元215年)曹操往征張魯，先教護軍薛悌，付其一書署名急函往合肥予張遼，上有字樣雲“賊至乃發”（賊軍來到便拆信閱之）。
不久東吳孫權率領十萬大軍進圍合肥，合肥諸守将乃共同拆信視曹操所教，信中言道：“若孫權軍來到，張、李将軍出戰；樂将軍守