陛下在王府聞其事，必認為這是盡忠于先帝。
如今陛下即位，能不容許群臣盡忠于陛下嗎？”
世宗看了守益的奏疏大怒，诏令将守益下獄拷打，貶為廣德州判官。
守益在廣德拆毀淫祠，建立“複初書院”。
與學者在這裡講學。
不久，調任南京禮部郎中。
廣德州人立生祠來紀念他。
守益聞王守仁逝世，供立靈位，悼念不已。
他每日與呂木冉、湛若水、錢德洪、王畿、薛侃等人讨論學問。
任期滿，政績考核合格，回至京都，但立即稱病歸鄉。
很久以後，被舉薦起任南京吏部郎中，随後朝廷招為司經局洗馬。
守益因見太子年幼，不能出朝至其藩封之地，便與霍韬一道進呈《聖功圖》。
圖中繪有自神農、唐堯住的茅屋，屋前土階，至世宗在西苑耕田養蠶，共十三幅。
世宗認為是在诽謗他，幾乎得罪皇上，幸因霍韬為世宗所器重，才得無事。
第二年，調守益為太常少卿兼侍讀學士。
由于夏言一心要使他遠離京師，故調他去南京掌管翰林院。
禦史毛恺奏請留守益侍奉太子，而被貶谪。
不久，改任守益為南京國子監祭酒。
皇帝祖廟遭火災，守益陳請朝廷上下都要反省，并說：“殷中宗、高宗這樣做了，化妖孽為吉祥，國運長久。
”世宗大怒，削其職為民。
守益禀性純正。
守仁曾引《論語》的話說：“有若無，實若虛，别人侵犯他，都不計較。
謙之的修養已接近這境界了。
”
守益在家鄉每天講學，四方向他求學的人接踵而至，學者稱他“東廓先生”。
在家居二十餘年而逝世。
隆慶初年，贈南京禮部右侍郎。
谥文莊。