劾桂萼舉薦自己的親信李夢鶴當了禦醫。
世宗傳令讓吏部核實，吏部說夢鶴是經過考選的，沒有舞弊營私。
世宗還是疑心，就讓太醫院再次對夢鶴進行考試。
言官知道世宗對桂萼已經改變看法，給事中陸粲就上書極力講桂萼的罪證，并且講到夢鶴與桂萼的家人吳從周、序班官桂林三個人從中行賄的事情。
奏章遞上後，世宗一下子省悟過來，立即罷了桂萼的官，讓他以尚書的名義退休。
張璁也被免了職。
世宗又發布诏書向大臣們宣布了他們兩人的罪行，大概是說：“他們自以為是，肆無忌憚，對不住君上也對不起國家。
他們所制造的事端大家都明白看到了，桂萼尤其惡劣。
依法本當判處重刑，現在特别寬恕他們一回。
”然後把夢鶴等交給法司審訊，都一一認了罪。
沒過多久，霍韬兩次上書訴說桂萼受了冤屈，說是一清和法司勾結故意捏造了桂萼的贓罪。
一清于是離任而去，刑部尚書周倫被調往南京，郎中、員外全被罷了官，然後世宗讓法司會同錦衣、鎮撫官再審理此案。
結論說是夢鶴等人假托桂萼的名義舞弊營私，事實上與桂萼沒有牽扯。
世宗傳令削了夢鶴、桂林的官籍，重新判罪，桂萼恢複散官職。
當時張璁又被召回朝中，史館一個儒生叫蔡圻的猜測世宗一定會讓桂萼複職的，就上書稱贊桂萼的功勞，請召他還朝。
世宗于是傳令讓桂萼家鄉的撫按官催促桂萼上路回朝。
桂萼人還沒到，國子監的學生錢潮等人又上書請催促桂萼還朝。
世宗惱怒地說：“大臣的任免，你們這些人也敢說話？”就把他們連同蔡圻一起打入監牢。
第二年四月桂萼回到朝中，恢複了被免除的全部官職，仍舊參與機要事宜。
桂萼當初銳意功名，敢于辦事，不顧忌周圍的輿論，現在突然間受到打擊以後，膽量因此驚吓了，不敢再放肆了。
在位僅僅幾個月，就一再稱病求退，世宗總是用和緩的口氣表示慰問、挽留。
十年(1531)正月，桂萼得到批準，告老還鄉，然後死在家中了。
朝廷追贈他為太傅，谥文襄。
桂萼所著并進呈的《帝王心學論》、《皇極論》、《易·複卦》、《禮·月令》及《禹貢圖》、《奧地圖說》，對君主的德行、當時的政治都有裨益。
但他疑心重，又狠毒，喜歡排擠異己，所以當時不能被社會輿論所認同。
當初他和張璁在一起好得不得了，後來等兩個人都進入内閣，就不那麼和諧了。