曹彬与米信商议道：“我看全营兵士，已经疲乏极了。粮食也快吃完，如何迎战这样的大敌？不如见机回军算了！”米信说道：“见可而进，知难而退，这是行军的要诀，将军又何必多疑？”曹彬于是下令退军。如此一来，使得全营兵马不再成列，一哄向南飞奔。

耶律休哥听说宋军已退，于是出兵追赶。到了岐沟关，辽军追上了宋军。宋军早已无心恋战，勉勉强强的返身交锋。但是用兵全仗士气，士气已已经失去，短期内自然振作不起。何况耶律休哥部下，本来都强壮得很，加上他们是养精蓄锐、盛气杀来。

困顿劳累的宋军，哪里支撑得住？交战不多时，宋军将士就返身奔逃。曹彬、米信不能禁止住，也只好随势退却，沿途弃甲抛戈，不可胜数。好容易跑到沙河，才发现追兵已经被抛得远远的。大众遇到就在河边休息，埋锅造饭，准备迟晚饭。

正在此时，忽然听到战炮连天，辽兵从后追到。曹彬与米信不敢再战，把食物丢掉，忍住饥饿，渡河南逃。宋军还没有渡过一半，辽兵已经杀到。辽军把宋军乱劈乱斫，好像削瓜切菜一般。这些宋军一半儿被杀死，一半被溺死，河中填满来尸体，水都没有办法流动。

宋军所有抛弃的物资，都被辽兵搬去。萧太后母子两人统兵到了沙河，与耶律休哥会合。见耶律休哥已经取得大捷，很是喜慰。耶律休哥请求乘胜南追，杀到黄河以北，方才回军。萧太后说道：“盛暑不便行军，宋军正好犯了此忌，所以被打得大败。我军怎能够重蹈覆辙？不如得胜回朝，等到秋高马肥的时候，我们再进兵就是。”说完，萧太后下令班师回朝。并加封耶律休哥为宋王，改遣耶律斜轸调集生力军，再行南下。

曹彬等人逃到易州，计点兵士，已伤亡大半。曹彬只好上奏，自己请罪。赵光义急诏诸将分屯边境要地，召曹彬、崔彦进、米信入朝。田重进全军还驻定州，潘美也还屯代州。赵光义又特别派遣了一批久不领节镇的旧将屯边：张永德守沧州，宋偓守霸州，刘廷让守雄州。又徙瀛州兵马都部署赵延溥守贝州，赵昌言仍守大名，以防备契丹南下。命潘美军再出雁门，掩护云应寰朔四州吏民及吐浑部族还境，分置河东、京西。