，天下必定達不到大治。
不易換本兵，武功必定達不到強勁。
”
疏章呈入，皇帝扣留不下發讨論。
嚴嵩又上疏奏辯，皇帝對他更加慰谕，謝瑜又被責備。
但這時皇帝雖然向着嚴嵩，還沒有深罪言者，嚴嵩也因為初得政權，不敢公開排擠陷害，所以謝瑜能夠繼續擔任原官職。
不久，嚴嵩假借其他事情貶謝瑜的官職。
又過了三年，大舉考察官員，嚴嵩秘密告訴主持考察的人革除謝瑜。
等到疏章呈上，皇帝下令按照貪酷的條例将謝瑜除名，謝瑜于是被廢棄。
終老死于家鄉。
開始謝瑜擔任禦史的時候，武定侯郭勳陳講時政，極力诋毀大小諸臣不足以勝任，請求再派遣内侍外出鎮守。
皇帝聽從了他的話。
謝瑜抗章上奏說“：郭勳所論奏的各種事情，所指的意向恍惚，但複設鎮守，則是他的本意所集中的一點。
郭勳交結勾通内侍，代他們營求，以利于他日對他們進行重賄。
有言說‘官吏貪濁，是因為陛下沒有心腹耳目，人在四方’。
又說‘文武之臣懷奸避事，允許内臣劾奏，那麼奸貪自息’。
如果真的像郭勳所說的，那麼内臣當權莫如正德年代時期，這是太平極治嗎？陛下革除鎮守内臣，确是聖明善政，而郭勳用偏私來诋毀。
在朝的百官，誰不是天子的耳目？而郭勳卻用不足任來诋毀他們。
想讓陛下懷疑天下所有的士大夫，唯獨倚靠宦官作為心腹耳目，我不知道郭勳将陛下視為什麼樣的君主？”正巧給事中朱隆禧也對郭勳的事這樣說，郭勳的奏請才被止息。
謝瑜在隆慶年初期被複官，贈太仆少卿。