当时，刚刚失去了主将，大家都很害怕刘备会趁机进攻，三军上下都惊慌失措。夏侯渊的司马郭淮就对大家说：“张将军是国家的名将，刘备也害怕他。现在事情紧急，除了张将军，没有人能让大家安心。”于是，大家推举张合当了军主。张合出来后，整顿军队，安排好阵势，其他将领都听从他的指挥，大家的心才安定下来。曹操当时在长安，听说后就派使者给了张合节钺。接着，曹操亲自来到汉中，刘备坚守在高山之上，不敢迎战。曹操就带着汉中的军队撤退了，张合也回到了陈仓驻扎。
曹丕（文帝）继承王位后，任命张合为左将军，提升他的爵位为都乡侯。等到曹丕正式登基后，又进一步封他为鄚侯。曹丕下诏让张合和曹真去讨伐安定的卢水胡人和东羌，还召见张合和曹真到许宫，派他们南下和夏侯尚一起攻打江陵。张合单独带领各军渡过长江，夺取了江中的据点。
曹叡（明帝）即位后，派张合到荆州南部驻扎，和司马懿一起攻打孙权的将领刘阿等人，一直追到祁口，和敌人交战，打败了他们。
诸葛亮出兵祁山的时候，张合被提升为特进，被派去统领各军，在街亭抵挡诸葛亮的将领马谡。马谡依靠南山的地形，没有下来占据城池。张合切断了他的水源，然后发起攻击，大败马谡。南安、天水、安定三个郡都响应诸葛亮，张合把他们都平定了。曹叡下诏说：“诸葛亮带着巴蜀的军队，来对抗我们如虎狼般的军队。将军你披上坚固的铠甲，拿着锋利的武器，所向披靡，我非常赞赏你。增加你的封地一千户，加上之前的总共四千三百户。”