拜謝而歸。
王安石上書請求離職，外面的人才知道他這樣做的原因。
一些奸人對鄭俠切齒痛恨，于是将他交給禦史，追究他擅自發馬遞的罪行。
呂惠卿、鄧绾對皇上說“：皇上多年以來，廢寝忘食，成功地施行了新法，國家因此受到很大利益；如果采納鄭俠這個狂夫的意見，一下子将新法罷免殆盡，豈不是太可惜了嗎？”他們哭訴于皇帝前，于是又恢複了新法。
王安石離去，呂惠卿執政，鄭俠又上疏指責他。
鄭俠取材于唐代魏征、姚崇、宋王景、李林甫、盧杞的傳，畫了兩軸畫，題名為《正直君子邪曲小人事業圖迹》，将在位的朝臣分成兩類，即分别比附成李林甫一類的和姚崇、宋王景一類的，和奏疏一起呈給皇上，而且還說宮中有披甲、登殿等事發生，即有人試圖圖謀不軌。
呂惠卿上奏說他是诽謗，故鄭俠被貶編管汀州。
禦史台官員楊忠信拜見他時說：“禦史沉默不言，而你卻上書不已，這實際上是說責任在監門，指責禦史台無人哪。
”楊忠信從懷中取出《名臣谏疏》給鄭俠，并說：“把這拿去，以對正直之士有所幫助。
”惠卿揭發了這件事，而且指使禦史張琥彈劾他們與馮京相互勾結為朋黨。
鄭俠在赴汀州途中行至太康時，被追回京城對質，審問他們是否有相互勾結為朋黨之罪行，罪名被羅織而成，惠卿認為應緻他于死地。
皇上說“：鄭俠所說的都不是為了自己，而是為朝廷着想，這份忠誠之心可嘉，怎麼能治他以重罪呢？”最後隻将他貶至英州。
到英州後，他找了一間快要倒塌的寺廟居住下來，英州的人無論貧富貴賤，都很敬仰他，争相讓子女跟着他讀書學習，并為他建造了一座新房子。
哲宗即位，鄭俠才得以回京城。
蘇轼、孫覺在哲宗面前為他說好話，故任他為泉州教授。
元符七年，又被放逐到英州。
徽宗即位，赦免鄭俠，仍歸還給他原來的官職，不久又被蔡京奪官，從此他就再沒有出來任職了。
被奪官後，鄭俠布衣粗食，閑居田野，但一言一行都沒有忘記君主。
宣和元年死，時年七十九歲。
鄰裡之人将他住過的房子改建成鄭公坊，州縣的學校都祭祀他。
紹熙初年，诏令贈鄭俠為朝奉郎。
又提拔鄭俠之孫嘉正為山陰尉。