寇准奏完，当即退去。赵恒目送他出去，注视不已。刚好王钦若在朝，急忙上前跪奏道：“陛下尊敬寇准，是否因为寇准有功于社稷？”赵恒点首称是。王钦若又说道：“澶州一役，陛下不以为耻，反而视寇准为功臣，臣实在不解。”赵恒愕然，问其故。

王钦若答道：“城下之盟，《春秋》所耻。澶州一战，陛下亲征。陛下为天子，反而和外夷作城下之盟，难道不是可耻吗？”赵恒不禁变色。王钦若见他已入彀，索性逼进一层，又奏道：“臣有一句浅近的比喻：譬如赌博，输钱将尽，倾囊为注，这叫作‘孤注一掷’。陛下就是寇准的赌注，岂不危险？幸亏陛下量大福弘深，才得以免遭失败。”赵恒顿时脸红耳赤，说道：“朕今知道了。”王钦若这才退出。

自此以后，赵恒对待寇准，逐渐疏远。不久竟然罢免了寇准的宰相之职，转为刑部尚书，又出知陕州。寇准也知道被王钦若进了谗言，奈何诏命不能违抗，只好启程赶赴陕州。刚好益州张咏从成都回京，路过陕州。寇准出郊迎接，两人欢宴证日。

临行时，寇准问张咏道：“君治蜀有年，政绩卓著。我愧慕得很，敢问有什么可以教我？”张咏徐徐答道：“你也未免太谦了。但是《霍光传》却不可不读。”寇准听了，莫明其妙，只得答“领教”二字。等张咏辞去，寇准回到府衙，取出《汉书·霍光传》随读随想，读到不学无术一句，不由地笑道：“张公说我，想是指此句了。”

不久，寇准调任天雄军。辽国使者路过大名，与寇准相见。辽使问寇准道：“相公望重，为什么不在中书？”寇准答道：“我朝天子，因朝廷无事，特遣我到此，执掌北门管钥，你何必多疑！”辽使方才无言，赴汴都去了。

赵恒罢免寇准之后，用参政王旦代任。王旦是大名府人。因他生于凌晨，故取名旦，字子明。王旦先天相貌较丑，脸、鼻皆偏，喉部有突起。曾有华山道人预言其有异于他人的面相，说道：“日后必大贵”。王旦小时候，沉默寡言，却好学不倦，颇有文才。王旦的父亲王祜很器重他，说道：“这个孩子应当会官至公卿宰相。”