晋文公去世后，晋襄公、晋灵公、晋成公一代代传下来，荀林父也一步步升迁。他从士兵升到“什长”（管十个人），再到“百夫长”（管一百人），后来又成了“军尉”，负责军队的纪律和训练。这期间，他没少跟狄人打交道——晋国北边全是狄人部落，这些部落骑马射箭厉害，经常抢晋国的粮食、牛羊，有时候还敢攻打边境城池。荀林父在边境待了好几年，摸透了狄人的习性：狄人打仗没章法，全靠一股冲劲，赢了就抢，输了就跑。
有一回，狄人部落“白狄”抢了晋国边境的“狐厨”城，杀了几个守军。晋灵公派荀林父带三百战车去平乱。荀林父到了狐厨城，没急着打仗，先派人去白狄部落传话：“你们抢了我们的粮食，杀了我们的人，这事儿不对；但我们也知道，今年你们那边闹旱灾，没饭吃。只要你们把抢的东西还回来，赔罪道歉，我们可以给你们一批粮食，以后互不侵扰。”白狄首领本来就怕晋国大军，听荀林父这么说，赶紧答应了。就这么着，没打仗，就解决了边境问题。晋灵公知道后，特意把荀林父调回都城，升他为“上军佐”，成了晋国六卿之一——这六卿可是晋国最高级的官员，管着军政大权，荀林父这时候真正进入了晋国的权力核心。
到了晋景公继位那年，晋国的中军将（也就是六卿之首，执掌全军大权）病逝了。晋景公召集大臣们商量谁来接任，有人推荐先氏的先縠，说先縠勇猛；有人推荐赵氏的赵朔，说赵朔是名门之后。这时候，上卿士会站出来说：“荀林父在边境多年，懂军事，知民心，而且做事稳重，不会冒进。如今咱们需要的是能稳住局面的将领。”晋景公也记得荀林父在边境的功劳，就拍了板：“就依士会之言，任荀林父为中军将，执掌晋军！”
消息传到荀林父家里，他皱着眉头跟家人说：“如今楚庄王势头正盛，郑国、陈国这些小国又摇摆不定，晋国朝堂上又有不少人不服气，这中军将不好当啊！”话是这么说，他还是接了印信——既然国君信任，他就得扛起这份责任。这年秋天，荀林父正式走马上任，第一件事就是整顿军队：把边境的老兵调回都城训练新兵，把纪律松散的部队重新编伍，还制定了“行军令”“交战令”，规定什么时候吹号进军、什么时候敲鼓收兵，谁要是违抗命令，不管出身多高贵，都要按军法处置。
这荀林父刚当上中军将，还没等他把军队整顿利索，南边就传来了消息——楚国派大军围攻郑国，郑国快扛不住了，派人来晋国求援。
晋景公三年（公元前597年），楚国国君楚庄王亲自率领大军，围攻郑国都城新郑。这郑国夹在晋楚之间，向来是“墙头草”，前几年还跟晋国结盟，这时候楚国打过来，郑国国君郑襄公一开始还硬撑，可楚军围着新郑打了三个月，城里的粮食快吃完了，士兵也死伤不少，郑襄公没办法，只好光着膀子、牵着羊，出城向楚庄王投降，还答应以后听楚国的。