趙普說話了：「皇上，如果你不忍親手處置辛文悅，那就容臣代皇上前往房州查處……」「大膽趙普！」趙匡胤不禁動怒了，「朕苦口婆心地跟你說了這麼許多，你為何充耳不聞？你又為何非要置辛文悅於死地？難道，朕做為一國之君，竟不能對自己的恩師網開一面？」趙普仰頭應道：「臣以為，如果不嚴厲處置辛文悅，就不能告慰周世宗的在天之靈！不能告慰周世宗，皇上又豈能心安？」「住口！」趙匡胤大喝了一聲，「趙普，朕且問你：你開口一個周世宗、閉口一個周世宗，你心目中還有朕這個皇上嗎？你在朕的面前屢次提及周世宗，又是居何用心？」趙普回道：「臣別無他意，隻請求皇上處置辛文悅！」「你是在請求嗎？」趙匡胤瞪著趙普，「你分明是在威脅朕！」「臣不敢威脅皇上，」趙普直視著趙匡胤瞪過來的目光，「但臣作為大宋宰相，不能眼睜睜地看著辛文悅殺人害命而不聞不問！」趙匡胤默然。默然片刻之後，他張口問道：「趙普，你真的要對朕的恩師追究到底！」「是的！」趙普回道，「臣確有此意！」「那麼，」趙匡胤又問，「朕如何才能使你不再追究此事？」趙普答道：「除非皇上罷了臣的宰相一職！」趙匡胤第三次露出了笑容：「既然如此，朕也就別無選擇了！」還笑謂趙普道：「你且回家候著吧！」趙普就回到了宰相府。雖然趙匡胤的言語中分明有罷免他宰相之意，但他以為，他此番也沒有同趙匡胤大吵大鬧，只是鬥鬥嘴皮而已，趙匡胤是不可能當真的。然而，第二天，趙匡胤當廷宣佈：免去趙普宰相職，由參知政事薛居正和呂餘慶代理。趙普一下子懵了。雖然在過去的日子裏，他與趙匡胤爭執的時候，曾經想到過被罷相的結局，似乎也做好了接受這一結局的思想準備。然而，當這一結局真的降臨到他的頭上的時候，他還是感到了一種沉重的打擊。那和氏驚道：「老爺，皇上這回真的撤了你的職了！」趙普憤而言道：「皇上太霸道了！他口口聲聲說沒有辛文悅就沒有他的今天，他何曾想過：沒有我趙普，又豈能有他的今天？」和氏勸道：「算了，老爺，消消氣吧！你這話若是讓皇上聽到，恐怕還有禍患呢！」趙普雙目一橫：「還有什麼禍患？老爺我現在是一介草民了，難道他皇上還要置我於死地不成？」趙普被罷相，最吃驚的恐怕還不是趙普，而是趙光義。趙光義跑到趙普的家，連聲詢問何故。得知真情後，趙光義喟然言道：「皇上如何不思念趙兄本是出自一片忠心啊！」趙普苦笑道：「光義兄弟難道還看不出來嗎？天下大勢基本已定，皇上覺得已經用不著趙某了……趙某還算是幸運的啊！皇上沒有卸磨殺驢，趙某就已經感激不盡了！」趙光義問趙普今後有什麼打算。趙普回道：「我打算西去洛陽了此殘生……」趙光義嘆道：「趙兄韜略過人，如何能在洛陽默默度日？」趙普搖頭道：「可在皇上的眼裏，趙某已是老而無用了！」「不行！」趙光義突然言道，「我定要去與皇上理論！」趙光義真的去找趙匡胤理論了。理論的具體過程和內容無人知曉，但有一個結果卻天下皆知：趙匡胤任命趙普為檢校太尉兼河陽三城節度使，治所在孟州（今河南孟縣，位於洛陽東北約一百裡處）。趙普對和氏玩笑道：「看來皇上還是照顧我的，知道我在洛陽有一處私宅。」和氏也玩笑道：「是呀，老爺，到了孟州之後，你去洛陽就方便多了！」看上去，趙普已經不再怨恨趙匡胤了。但有句俗話說的好：人心隔肚皮。趙普心中究竟在想些什麼，和氏也是無從知曉的。這一年（開寶六年）九月，趙普攜和氏等一家老小離開汴梁前往孟州赴任。趙匡胤沒有送行，朝中大臣也多半沒有送行，隻晉王爺在汴梁北郊設宴為趙普餞行。晉王爺是趙光義。就在趙普離開汴梁前不久，趙匡胤下詔，冊封趙光義為晉王。詔令中還明確規定：晉王位在宰相之上。看來，趙普一去，宰相的職權也頓然縮小了許多。趙普對趙光義的餞行深表感謝。趙光義輕言道：「趙兄何言謝字？你我同朝共事多年，親如手足……趙兄這一去之後，我還真有一種人單力孤之感。」趙普言道：「如果王爺不嫌棄，趙某定時常回京與王爺把酒敘談。」「如此甚好！」趙光義連忙道，「晉王府的大門永遠對趙兄敞開！」趙普又似乎漫不經心地言道：「王爺，皇上恐怕不歡迎趙某時常回京啊。」趙光義言道：「皇上是皇上，本王是本王，皇上不歡迎你，本王歡迎你不就行了嗎？」餞別之後，趙光義執意要再送趙普一程。因孟州距黃河不遠，趙普此次西去是乘船而行，所以趙光義就一連送了二十多裡，一直把趙普一行人送到了黃河邊。送君千裡，終有一別。趙普臨行時，站在船頭對趙光義抱拳道：「王爺今日相送之恩，趙普終生不忘！」趙光義高聲言道：「趙兄別忘了常回京城來！」