因此扣發獻夫一個月的俸祿，吏部的郎官扣發兩個月。
獻夫很不自在，兩次上書稱病求退，世宗表示同意後，仍然空着這個位置等他病好。
嘉靖十年(1531)秋天，朝廷傳發诏書召他回朝。
獻夫上書辭謝，舉薦梁材、汪钅宏或王廷相代替自己。
世宗親自寫诏書稱贊他，并派遣行人蔡雲爰前往催促他。
蔡雲爰到他家門口，獻夫卻偷偷跑進西樵山了，然後又稱病辭謝。
不久使者又來了，并說要讓獻夫改任别的官，獻夫方勉強上路。
第二年五月到達京城，世宗讓他以原來吏部尚書的名義兼武英殿大學士入内閣輔佐朝政。
當初，世宗就曾賜給獻夫一枚銀章，上刻“忠誠直諒”，讓他有事情時密封上奏。
獻夫回鄉時交還朝廷，到這時還像原來那樣又賜給他了。
吏部尚書王瓊死後，世宗就讓獻夫掌管吏部的事。
獻夫住在家裡時，潔身自好，當地監司前往拜見，他總是稱病謝絕。
他家的一個姻親在郡中為非作歹，當地人屢次上訴，佥事龔大稔受理此案。
獻夫還朝後，私下裡吩咐過大稔。
恰好這時大稔因故被罷官，他懷疑是獻夫幹的，就上書列舉幾件獻夫幹的違法的事，言辭之間又牽連霍韬。
獻夫上書為自己作辯解，世宗又正喜歡獻夫，所以大稔就被逮捕，剝奪了官籍。
這年十月有彗星出現在東井座，禦史馮恩上書攻擊獻夫陰險毒辣，巧辯飾奸，玩弄權術，将危害國家，所以他一掌管吏部就出現了彗星。
世宗惱了，把馮恩打入監牢。
獻夫也稱病請求退休，世宗傳诏以和緩的口氣表示不允許。
獻夫為人恬靜自守，不争名奪利，接連受人彈劾後，就有些慚愧、畏縮。
雖然掌握大權，還是氣息奄奄，精神不振。
隻有世宗想殺張延齡一事，他曾極力勸阻。
當時桂萼已經死了，張璁最受寵信，也幾次被罷相了。
霍韬、黃宗明議論政事隻要不合世宗心意，世宗就把他們打入監獄。
獻夫看到世宗恩威不測，在職兩年，就三次上書稱病告老。
世宗最後以獎賞的口吻頒發诏書同意他退休，讓他乘坐官方車馬回鄉，并發給他路費。
他回鄉以後在家裡住了十年才死去。
生前他已被加封為柱國、少保，所以朝廷就在他死後追贈他為太保，谥文襄。
獻夫是因為讨論“大禮”一下子顯貴的。
他與張璁、桂萼多年共事，隻是由于他對人對事看法比較平正、寬容，所以人們不怎麼厭惡他。