護軍，不得與戰。
”諸将皆為此感到疑惑。
此時張遼便說：“曹公遠征在外，待其救兵來時，敵軍必定已攻破我們了。
所以曹公教我等衆将，待敵軍未合便逆（迎）而擊之，摧折敵軍鋒銳，以安衆人之心，然後方可堅守。
成敗之機，在此一戰，諸君何須疑惑？”而李典亦與張遼持相同意見。
于是張遼在夜間募集敢于逆擊敵銳之士，共得八百人，于是開剝牛支讓将士飽食，準備明日大戰。
天尚未亮，張遼被甲持戟，獨自先登直陷敵陣，立殺數十人，斬其二将，并于陣中大呼己名，然後突擊沖入重壘，直至孫權麾旗之下。
孫權見狀大驚，其衆手足無措，不知所為，隻得走登于高丘之上，僅以長戟自守而已。
張遼見敵軍退避，便叱喝孫權，挑釁他下來對戰，孫權懼而不敢動；及至望見張遼所領之兵原來甚少，于是忽聚衆軍數重圍困張遼。
張遼于吳陣左右突圍，直前急擊，其圍不禁沖撞而開，張遼将領麾下數十人得以脫出。
但陣中尚有馀衆未出，皆号呼張遼道：“将軍舍棄我們了嗎！”張遼複又還入重圍，救出被困馀衆。
孫權人馬皆望風披靡，沒有敢當張遼之将。
自朝辰戰至日中，吳軍銳氣為張遼所奪，魏軍此時還城修業進行守備，衆心方才安然下來，諸将對張遼所為均表歎服。
孫權守擊合肥十馀日，城不可拔，于是還軍退師。
張遼率諸軍乘勢追擊，差點可以再有擒獲孫權的機會。
曹操聞此，大壯張遼的表現，拜遼為征東将軍。
建安二十一年(公元216年)曹操複征孫權。
軍到合肥，曹操循行視察昔日張遼作戰的地方，贊歎良久。
于是增加張遼手下兵，多留駐軍。
建安二十二年(公元217年)曹操攻濡須口，孫權請降，留夏侯惇、曹仁、張遼等屯居巢。
建安二十四年(公元219年)關羽圍曹仁于樊城，适時孫權稱藩于魏，不足為患，于是曹操召張遼及諸軍悉數回救曹仁。
但張遼軍尚未至，徐晃已破關羽，曹仁之圍遂解。
此時張遼與曹操會于摩陂。
遼軍至時，曹操乘車辇視出慰勞張遼，張遼遂還屯陳郡。
魏文帝黃初元年(公元220年)曹丕即位魏王時，張遼轉封前将軍。
朝廷分封其兄張泛及一子列侯。
不久孫權又再叛變，曹丕遣張遼還屯合肥，并進爵都鄉侯。
朝廷又給予張遼母親輿車，派遣兵馬送張遼家人到張遼軍屯之處，當張遼母親至時，張遼導領随從出迎。
張遼所督的諸軍将吏皆羅拜于道旁，看見此景的人均認為這是十分榮耀的事。
後來文帝踐阼，張遼封晉陽侯，增邑千戶，并前二千六百戶。
黃初二年(公元221年)張遼朝聖于洛陽皇宮，曹丕便引張遼會晤于建始殿，親問其昔日破吳時的情狀。
張遼述說過後，曹丕向左右歎息道：“簡直是古代的召虎啊。
（召虎即召公奭是與方叔、尹吉甫、秦仲等齊名的東周大将。
他因平淮夷所以被曹丕借作比喻。
）”于是為其建造第舍，又特為張遼母親築殿，當年跟從張遼突破吳軍陣營、臨時應募的一衆步卒，皆為虎贲。
黃初三年(公元222年)孫權又複稱藩。
張遼奉命還屯雍丘，卻在此得病。
曹丕遣侍中劉晔帶著太醫審視其疾，并令虎贲問其消息，道路上往來相繼不絕。
張遼之疾久未痊愈，曹丕命人迎接張遼就行在所，自己則車駕親臨，執張遼之手，賜以禦衣，又使太官每日送給禦食。
待張遼之疾稍可，遼即回還屯之處。
正當其時，孫權複叛，曹丕遣張遼乘舟，與曹休到海陵臨江駐防。
孫權知張遼至此，甚為忌憚，敕令諸将道：“張遼雖然抱病，但仍是勇不可當的，千萬要謹慎在意！”同年，張遼與諸将同破吳将呂範。
不久張遼病笃，竟逝于江都，一代名将就此隕落。
曹丕為之流涕，谥曰剛侯。
其子張虎嗣任其爵。
黃初六年(公元225年)曹丕追念張遼、李典在合肥之功，诏曰：“合肥一役中，張遼、李典僅以步卒八百人，破賊十萬之衆，自古用兵，未見如此。
他們使賊衆至今仍氣為之所奪，真可謂國之爪牙。
現分封遼、典邑各百戶，賜一子爵關内侯。
”
齊王芳正始四年(公元243年)張遼得享從祀於曹操廟庭。