附和先縠意见的不少，毕竟晋军多少年都没吃过大亏了，谁都想捞个战功。可栾书却站了出来，说道：“诸位将军，自楚庄王登基以来，杀了权臣斗越椒，整顿内政，又吞并了舒国，国力早就今非昔比。这次围郑三个月，楚军上下一心，哪来的‘疲惫不堪’？再说，郑国已经降楚，咱们现在渡河，那就是孤军深入，万一楚军设下埋伏，咱们前有强敌，后无退路，到时候可就不是丢面子的事了，是要把晋国的老本都赔进去啊！依我看，不如先退到黄河以北，派人盯着楚军动向，等他们撤军了，再去安抚郑国，这才是稳妥之计。”
先縠一听就急了，指着栾书的鼻子骂：“你小子就是胆小怕事！栾家祖上的血性都被你丢光了！”荀林父呢？他本就是个优柔寡断的人，被两边这么一吵，更是没了主意。结果没等他拿定主意，先縠竟然带着自己的部下，偷偷渡过了黄河！这一下可把荀林父逼急了——要是先縠兵败，自己作为中军将也难逃罪责，没办法，只能下令全军渡河。
后面的事，列位也知道了——这就是春秋史上有名的“邲之战”。晋军人心涣散，楚军却早有准备，一阵猛攻下来，晋军大败，士兵们抢着渡河逃跑，河里飘的全是晋军的尸体。混乱之中，不少将领都慌了神，只顾着自己逃命。栾书赶紧召集下军的士兵，命令弓箭手在阵后掩护，步兵结成方阵慢慢撤退。有个小校慌慌张张地跑来问：“将军，都乱成这样了，咱们还列什么阵啊？快跑吧！”栾书照着他的头盔就是一下：“糊涂！越是混乱，越要稳住阵脚！听我的命令，一步一步退，谁敢乱跑，军法处置！”
就凭着这份沉着，栾书硬是带着下军的大部分士兵撤了回来。虽说邲之战晋军输了，但栾书在乱军中保留下军的事，很快就传到了晋景公耳朵里。景公当时正为战败生气，听说栾书指挥撤退的事情，心里顿时有了印象——这栾书，是个可用之才！
邲之战后，晋国暂时收敛了锋芒，开始整顿内政。栾书也没闲着，他一边在军中练兵，一边观察朝堂动向。赵氏因为赵盾去世，势力有所削弱，郤氏、荀氏开始抬头。栾书知道，自己要想升迁，光靠打仗不行，还得会团结人、会笼络人心。比如郤克出使齐国受了辱，回来想请兵伐齐，满朝文武只有栾书站出来支持他，说“齐顷公欺辱晋国使臣，就是欺辱晋国，此仇必报”。就这么一句话，让郤克感激了栾书一辈子。
由于栾书在邲之战中沉着指挥，保留下军精锐，给晋景公留下了深刻印象。接下来的几年，栾书在军中稳步上升，从下军佐升到了下军将，手里的兵权越来越重。而晋国经过几年的休整，也渐渐恢复了元气，这时候，东边的齐国又开始不安分了。