5年，奉令进军巴西，迁徙大量民众到汉中，虽被蜀将张飞击败，但仍不失威风，接任荡寇将军一职。三年后，以副帅身份，配合主帅夏侯渊进入汉中定军山，迎战刘备所带的蜀军。夏侯渊不慎死于蜀汉老将黄忠刀下后，张郃代理主帅一职，收拢残兵败将，安定军心，等待援军。曹操到达汉中后，见不能取胜，即主动撤出大军，令张郃屯兵陈仓，是为屏障。
曹丕称帝，迁张郃为左将军，受封鄚县侯。配合曹真平定了久乱不肯服魏的卢水胡人和东部羌人，促使北方少数民族重新恢复自东汉以来开始断截的朝贡汉政府的习惯。之后又随夏侯尚围攻东吴江陵郡，张郃督诸军渡过长江，夺取了百里洲上的吴军堡垒，其指挥协调"大兵团"的能力，十分出色。
魏明帝曹睿继位第三年，亦即公元228年，张郃转任右将军一职，跟随曹真抵御首次北伐的诸葛亮。在街亭之战中，写下了极为出彩的一笔：大破蜀国主将马谡，迫使诸葛亮不得不取消北伐，退回汉中。此战过后，荣赝征西车骑将军。
张郃为人淳厚，不慕功利。纵观他的历次出场亮相，多为副手，且尽心、尽责、尽职。公元231年，诸葛亮第四次北伐，曹睿原本下达的诏令，是让张郃统领众将到略阳迎击诸葛亮，后来不知纳了何人之议，曹睿改派"曹丕四友"之一的司马懿统领张郃、郭淮、费曜等诸将。
诸葛亮此次北伐，在遭受司马懿的"固营自守，不与交战"的策略后，准备退还祈山。司马懿认为战机显现，命令张郃追击。张郃劝说："军法，围城必开出路，归军勿追。"但司马懿一意孤行，严令张郃领兵追击蜀军，张郃不得已遵之，结果在追至木门谷时，身中乘高布伏的蜀军乱发之箭身亡。曹魏赐给张郃的谥号为壮侯，他的儿子张雄继承了他的爵位。
张郃用兵巧变，素有"三善"之誉，即善列营阵、善估形势、善用地形。史载，蜀军自诸葛亮起，只要得知对阵的是张郃，无不忌惮。当年刘备率军在汉中对垒曹军时，听闻夏侯渊被斩杀的消息后，叹息道："要杀就杀张郃，杀夏侯渊有什么用！"
中国的成语非常丰富，成语宝库中也有一个张郃贡献的故事。《三国志》卷一七"魏书"载：魏明帝时，任命张郃为节度使督导关中诸军。张郃到达荆州时，正好是冬天河流水浅之时，大船无法通行，只得驻扎方城。其时诸葛亮复又北攻陈仓，魏明帝曹睿很是担心，亲自前往河南城巡视，并增派军队壮大张郃实力，同时急件询问张郃："等你赶到，陈仓能否保住？"张郃分析认为诸葛
…。。