宗大怒，拒絕看他的奏章，聲稱要把他調到偏遠的地方去。
唐介慢慢讀完皇帝的意見後說：“臣受忠義的鼓舞，坐監獄、赴刑場也在所不懼，怎會害怕邊遠地方呢？”仁宗急忙召見執政大臣說“：唐介發表意見是他的職責。
至于說文彥博是通過我的嫔妃才得到宰相職位的，豈有此理？啟用宰相，嫔妃豈得幹預？”當時文彥博在旁，唐介指責說：“彥博應該反躬自省，假使有這種醜事，不能隐瞞。
”彥博不停地謝罪，仁宗更加惱怒。
梁适喝斥唐介，讓他下殿，修起居注蔡襄也上前救護他。
結果，仁宗把他降級為春州别駕。
王舉正認為這個處罰太重了，仁宗醒悟過來，第二天又改派到英州，撤了文彥博的職，吳奎也貶到地方去了。
仁宗怕唐介死在路上，自己背上傷害耿直大臣的惡名，就派中使護送他。
梅堯臣、李師中都作詩熱情地贊美他，從此他坦率耿直嫉惡如仇的美名轟動天下，士大夫們談論“真正的禦史”時，都必然說“唐子方”，而不敢直呼其名。
幾月後，受提拔主管郴州稅務，任潭州通判、複州知州，又被召回京城任殿中侍禦史。
到朝廷謝恩時，仁宗慰勞他說：“您從被降職到地方以來，從未寫信回來談私事，可算是操守堅貞啊。
”唐介叩頭謝恩，從此議論時事更無所顧忌。
不久對仁宗說：“臣既然擔當禦史，說的不被聽從必然要力争，争得太激烈了就會得罪陛下，希望能辭職。
”于是調任工部員外郎、直集賢院、開封府判官，又任揚州知州，再轉任江東轉運使。
禦史吳中複向仁宗說：“唐介不應該長期擔任地方官。
”文彥博重當宰相後也對仁宗說“：唐介從前對我的批評，确實很針對我的缺點，希望您能采納中複的意見。
”但仁宗隻調他到河中。
很久以後，調回京城任度支副使，升天章閣待制，再到谏院任職。
仁宗從至和年以後，很少與臣下勾通。
唐介說：“君臣關系好比是天地，天地交泰，才是正理。
希望能經常召集群臣，做些指示，共同讨論事情，以造福于天下。
”又說：“後宮不該替别人向皇上伸手要官；诏命的草拟不通過中書的情況，應該設法制止；賜給嫔妃的錢物，已比前代多幾十倍，而且還在天天增長，沒有止境，應有所限制；監司