建安二十年(公元215年)，曹操到张鲁，先教禁卫军薛冕，送一封署名的急信到合肥交给张辽，上面写着“贼乃毛也”(贼军到了就开信)。不久东吴的孙权率领十万大军进入合肥，合肥的指挥官都是曹操教的。信中说:“若孙权军来，张将军、李将军必起而战；乐将军镇守军队，不能打仗。”所有的将军都对此感到困惑。这时张辽说:“曹公的远征在外面，等他的援军来的时候，敌人一定已经突破我们了。所以，曹公教我们等将领，不见面就攻击敌人，以摧毁敌人的锐气，让大家安心，然后才能坚持住。成败的机会，在这一战中，何必要怀疑呢？”而李典也与张辽持相同意见。于是张辽收集了敢于夜间反敌锐气的男人，得了八百人，于是剥了牛，让士兵吃饭，准备明天的战争。天亮之前，张辽手持长戟，只身直入敌阵，杀了数十人，斩了其中两个，在阵中扬名立万，然后猛攻重垒，直到孙权一声令下，才收兵。孙权见此情景大惊，众将不知所措，只得走上高山，持戟自守。张辽见敌军节节败退，便斥责孙权，挑衅他下来迎战。孙权害怕得不敢动。我看到张辽兵少，就突然集结兵力，几次围攻张辽。张辽在吴阵周围突围，向前冲去，但他的包围圈忍不住爆开，张辽将军手下数十人得以脱出。然而，战斗中还有其他人，他们都向张辽喊道:“将军抛弃我们了吗？”张辽返回重围，救出被困群众。孙权的人马都很嚣张，没人敢反抗张辽。吴郡的精神在日中爆发战争时被张辽夺取，而此时的郡还在城内读书准备守备。众人这才安稳下来，众将领都对张辽的举动表示钦佩。孙权守合肥十余天，城拔不出，退师。张辽率领大军赶了过来。
漫画版张辽(20枪)差点又得到一次活捉孙权的机会。曹操一听，壮士张辽拜辽为东土将军。建安二十一年(公元216年)，曹操复征孙权。大军到了合肥，曹操参观了当年张辽作战的地方，惊叹了半天。所以增加了张辽的兵，多留了些兵力去挪窝。建安二十二年(公元217年)，曹操攻入濡须口，孙权投降，留下夏侯惇、曹仁、张辽等人住巢。建安二十四年(公元219年)，关羽在樊城包围曹仁，正逢其时，孙权说自己是魏国诸侯，这还不够，曹操就叫张辽全军去救曹仁。但在张辽的军队到达之前，黄旭已经打破了关羽，曹仁的围攻被解决。此时，张辽与曹操将在漠北会师。辽军到了，曹操乘车向张辽示慰，张辽回到陈郡。
合肥之战让张辽一战成名，世人提起张辽的名字，让啼哭的孩子不敢哭。