的怨恨不解。
焦芳已經靠依附劉瑾進入内閣，也恨謝遷曾舉薦王鏊、吳寬代替自己，沒有舉薦他，就直接從内宮取聖旨強制罷免謝遷的弟弟兵部主事謝迪，貶謝遷的兒子編修謝丕為民。
四年(1509)二月，因為浙江應诏所推薦的才德雙全人士，餘姚的周禮、徐子元、許龍，上虞的徐文彪都是謝遷的同鄉，而草拟诏書的是劉健，劉瑾一夥想借此算成謝、劉二人的罪狀。
假傳聖旨稱餘姚隐士為何這麼多？此必定是徇私情而援引，将周禮等人關進诏獄，供詞牽連到劉健、謝遷。
劉瑾要逮捕二人，沒收其家産，李東陽從中極力化解。
焦芳在旁邊厲聲說：“縱使從輕寬恕，也應當取消原有身份。
”聖旨下，同焦芳說的一樣，周禮等都被罰戍邊。
尚書劉宇又彈劾劉、謝所轄兩部門向上彙報失實，被判罪罰米，有的削去門籍。
另外诏令從今後餘姚人不得當選京官，并寫成條文。
這年十二月，言官根據劉瑾的意圖，請求收回劉健、謝遷以及尚書馬文升、劉大夏、韓文、許進等的诰命，下诏一并追還所賜的玉帶衣物，同時被收回诰命的人有六百七十五人。
當時，人們都為謝遷擔心，而他與客人下圍棋、賦詩鎮定自若。
劉瑾被誅，他恢複官職，後辭官退休。
世宗即位，遣使慰問謝遷，起用謝迪為參議，謝丕恢複翰林院的官職。
謝遷于是派兒子謝正入朝緻謝鼓勵皇帝勤學、師法祖先、納谏。
世宗優容地下旨回複。
嘉靖二年(1523)，又下诏命有關部門去慰問。
六年，大學士費宏推舉謝遷代替自己，楊一清想阻止張璁入選，也盡力推薦謝遷。
世宗于是派遣官員送去自己親手寫的诏書到謝遷家啟封宣旨，命巡撫、按官敦促他上路。
謝遷時年七十九歲了，不得已接受任命。
等到他到朝廷，而張璁已經進入内閣，楊一清因為官職高于謝遷而無意輔助他。
謝遷任職數月後極力請求離去。
世宗對待他更加優待，天寒免去上朝參拜，除夕日賜禦制詩，有病時則派遣太醫去為他治病，并賜藥和食物，光祿送去酒食，道路上盡是派往謝遷家慰問的使者。
謝遷終究在第二年三月辭官回家。
十年在家去世，享年八十三歲。
追贈太傅，谥号文正。
謝迪官至廣東布政使。
謝丕鄉試第一名，弘治末年，考中進士，官至吏部左侍郎，追贈禮部尚書。