囑托監察禦史洪天錫議論宦官盧允升、董宋臣，奏折上後留于宮中沒有結果，大宗正寺丞趙崇..把上書改送給謝方叔說“：宦官們驕橫恣肆特别厲害，宰相沒有聽說去幹預，台谏官不敢去彈劾，一新來的勢單力孤的監察官，還堅決站出來去指責批評他們，這難道是容易的嗎？打聽了數天，寂靜無聲，什麼也沒聽到，公衆的議論中不責備其他人，而隻責備宰相。
不然的話，倉卒之間，禦筆批旨，某人授給少卿，也一定沒有可以遏止的道理，丞相不應該說這不是我自己的責任。
丞相是皇上最了解的，官位名聲已達到極點。
假如說的話算數了，國家因此可以依靠；說的話不能算數，就離職。
離職時各位官吏一定不會不争，是勝利也是勝利，失敗也是勝利，況且不一定離職呢。
”謝方叔得到書信後，臉上有羞愧之色。
第二天，果然得到皇帝授任洪天錫為大理少卿的禦筆，而洪天錫離開了朝廷。
于是太學生池元堅、太常寺丞趙崇潔、左史李昴英，都議論、抨擊盧允升、董宋臣。
而那些讒言者又說“：洪天錫的議論，是謝方叔的意思。
”到洪天錫離職而去，也說：“這是謝方叔的意思。
”謝方叔上奏疏為自己解脫，于是監察禦史朱應元議論謝方叔，謝方叔因此被罷免宰相的職務。
到罷免職務以後，宦官盧允升、董宋臣還認為不快樂，于是，重金賄賂太學生林自養，上書竭力抨擊洪天錫、謝方叔，而且還說：“請求誅殺謝方叔，使天下的人都清楚地知道宰相、台谏被免職，是出自皇上的獨自決策，與内侍宦官并沒有什麼關系。
”當奏疏報上皇帝之後，學舍生員都讨厭林自養為閹黨奸臣，大家一起鳴鼓攻擊他，上書聲讨他的罪行。
于是，授任謝方叔為觀文殿大學士、提舉洞霄宮。
又因為監察禦史李衢兩次彈劾他，被削職罷祠。
後來，按舊職授他，複與祠官祿職，起居郎召澤、中書舍人林存彈劾罷免。
監察禦史章士元請更改為降職削祠，流放廣南。
景定二年(1261)，請求緻仕，于是恢複官職。
度宗即位之際，謝方叔以一琴、一鶴、金丹一粒來進貢于皇上。
丞相賈似道恐怕他有希望恢複職務，暗示代理右司郎官盧越、左司谏趙順孫、給事中馮夢得、右正言黃镛相繼請求彈劾削奪謝方叔的官職與封爵，制置使呂文德希望以自己的官職來贖謝方叔的罪過。
鹹淳七年(1271)，诏令恢複官職。
鹹淳八年(1272)死亡。
特地贈予他少師。
謝方叔在相位時，他的子弟幹預政事，如讒害餘..等之類的事就是其中之一。