書認罪，請不要追索銀章和親筆敕令，讓他作為子子孫孫百代光榮，話說得很令人傷心。
世宗怒氣未消，懷疑他把親筆敕令毀壞了，命令禮部催讨，并剝奪他少師的勳位，讓他以少保、尚書、大學士退休。
夏言于是把四百多幅親筆敕令并銀章一枚繳上。
過了幾天，世宗怒氣消了，讓人制止他還鄉。
又以少傅、太子太傅入内閣值勤，夏言上書表示感謝，世宗高興了，指示他砥砺初忠，秉公辦事，正道做人，以消除衆人的怨氣。
夏言心裡知道所謂衆人的怨氣，是指郭勳等人。
再次上書道謝，說自己不敢自處于别人的後邊，一心一意，孤立無援，所以被衆人怨恨。
世宗又不高興了，責問他，他惶恐認罪，才算罷休。
沒過多久，雷電震壞了奉天殿，世宗召見夏言及鼎臣，夏言沒按時來到。
世宗又一次訓斥了他，并讓禮部揭發他的罪狀，夏言等主動認錯，世宗又批評他傲慢，并批評了鼎臣。
過後，才算歸還了以前追讨出來的銀章和墨寶。
陝西傳來捷報，恢複了他少師、太子太師的勳位，升為吏部尚書，值勤于華蓋殿。
江、淮一帶叛亂得到平定後，皇上用蓋了玉玺的诏書獎勵他，賜他金币，讓他兼領大學士俸祿。
鼎臣死後，翟銮又一次入内閣，對夏言慎重得像所屬小吏一樣，言語中不敢有一點矛盾。
而霍韬任詹事府主管，幾次制造矛盾。
因為郭勳與夏言感情上有裂痕，就結交他，讓他幫助自己，三個人開始不停地鈎心鬥角。
後來，霍韬死了，夏言、郭勳依然在相互争鬥。
皇帝祭祀祖宗的廟宇發生火災，夏言當時因病在假，請求罷官，未得到批準。
昭聖太後逝世，世宗用诏書詢問太子喪服的禮數，夏言的書面回答有錯别字。
世宗嚴厲批評了他，他在認錯的同時又請求回家鄉治病。
世宗更為惱火，就命令他以少保、尚書、大學士的待遇退休。
夏言聽說皇上對自己惱火，就進呈了十四篇有關邊境防禦的策論，希望因此得到諒解。
世宗說“：夏言既然對國事有忠誠的謀劃，為什麼那樣堅決地自我愛惜，辜負我對他的信賴呢？姑且不治他的罪吧。
”當初，夏言撰寫宮體詩詞，最能滿足世宗的心意。
夏言罷官後，隻有翟銮在職，并不是世宗急着要用的人。
夏言即将離開京城時前往西苑的齋宮磕頭謝恩，世宗聽說，很憐惜他，特地賜他酒食，讓他回私人住宅治病，等待以後的任命。
恰好郭勳因為谏官很厲害地彈劾他，他也稱病在假。
京山侯崔元新近得到皇上寵信，在西苑值勤，他忌恨郭勳。
世宗閑談中問崔元說“：夏言、郭勳是我的左右臂，他們相互忌妒是什麼原因？”崔元不說。
世宗問夏言什麼時候回家鄉去，崔元說：“等皇上生日過後他才敢請放行。
”又問郭勳得了什麼病，崔元說：“郭勳本沒病，夏言一回家他就會出來了。
”世宗深深點了個頭。
谏官知道世宗寵信夏言而厭惡郭勳，就一起揭發郭勳的罪證，郭勳的辯護詞狂悖錯亂，世宗發火了，剝奪了郭勳同事王廷相的官籍。
給事中高時，是夏言深厚交結的知己，這時揭發了郭勳十幾件貪污、放縱、不守法度的事情。
世宗因此把郭勳關進了監獄，恢複了夏言少傅、太子太師、禮部尚書、武英殿大學士的官職，等病好入内值勤。
夏言雖然在病假中，内閣的事務多由他裁定。
辦理郭勳的案件，都是按他的授意進行的。
二十一年(1542)春，他做一品官滿了九年，世宗派宦官頒賜銀币、寶鈔、羊酒和宮廷食品，全部恢複了他的官級，用加蓋玉玺的诏書獎勵、贊美他，在禮部為他舉辦宴會，由尚書、侍郎、都禦史作陪。
這個時候，世宗雖然優待、禮遇夏言，不過對他的寵信已不如當初了。
慈慶、慈甯兩宮夫人去世後，郭勳曾經請把其中一個改由太子居住。
夏言以為不合适，符合了世宗的意思。
到這個時候世宗突然又問起太子應