當住哪裡，夏言忘記了自己先前的話，因想到再造宮殿費事煩人，就做出了和郭勳一樣意思的回答。
世宗心裡不高興，又懷疑谏官彈劾郭勳是出于夏言的指使。
等建造大享殿時，世宗命令宦官監視，夏言卻不替皇上寫敕令文稿進呈。
到西苑值勤的幾個大臣，世宗都命令他們騎馬，又賜給他們束發用的香葉巾，讓他們用皮綿做鞋子。
夏言以為這不是禮制規定的大臣服裝，不肯接受，并且隻有他乘坐手挽的齊腰小轎。
世宗積累了這幾樁不滿，想要罷他的官，因而嚴嵩得到了排擠他的機會。
嚴嵩與夏言是同鄉，稱夏言為前輩，對夏言很謹慎。
夏言入内閣時推薦嚴嵩接替他原來的官職，把他當作門客收籠，嚴嵩心裡很是恨他。
夏言失去世宗信任後，嚴嵩因為善于谄言媚語，得到皇帝歡心。
夏言擔心被罷官，喚嚴嵩過去商量，嚴嵩卻已經偷偷到陶文忠家裡計劃怎麼咬他壞話以便取而代之。
夏言得知非常惱恨，便示意谏官一次次彈劾嚴嵩。
世宗正在寵愛着他，哪裡肯聽，而他們倆從此就大為不和了。
六月，嚴嵩得到宴請和召見時，磕頭下跪，訴說夏言怎麼欺辱他，淚如雨下。
世宗讓他把夏言的罪狀全說出來，嚴嵩這下得以大揭其短。
世宗大為惱火，寫诏書給禮部，一一數說夏言的罪過，并且說：“郭勳已關入監獄，他還千方百計羅織罪名。
谏官本是朝廷的耳目，卻專聽他夏言指使。
我不早朝，他夏言就不入閣辦事。
軍國大事，能在他家裡裁決；天子說的機密話，他也敢把做兒戲玩。
谏官對此不發一言，就這樣欺騙我皇帝老子，使得鬼神怨怒，下大雨傷害了莊稼。
”夏言很害怕，趕緊上書認錯。
過了十多天，獻帝周年時，他還被召進去拜見，到西苑侍候皇帝。
夏言借機謝皇上恩典，并請求準他老病還鄉，話說得很哀傷。
奏章在皇帝那裡放了八天，正好七月初一日食，過後，世宗親寫诏令下來說“：老天日食超過常分，正犯着下級欺慢上級的過錯，現在我命令剝奪夏言的官職，讓他回家閑住。
”世宗又承認自己的三種過失，布告天下。
禦史喬佑、給事中沈良才等都上書評論夏言的事，并各自請問己罪。
世宗大為惱火，貶斥了十三個人，其中高時因曾彈劾郭勳，單單被重貶到遙遠的邊地。
于是嚴嵩取代夏言步入内閣。
夏言多年執政做官，家境殷富，服飾、日用豪華、奢侈，也常和别人通訊問好并饋贈錢物。
罷官時間長了，不見召用，監司府縣的官吏也稍稍待他冷淡了，夏言心裡悶悶不樂。
每遇元旦、皇帝生日他必定上表稱賀，自稱為“草土臣”。
世宗也漸漸憐憫他，就恢複了他尚書、大學士的官銜。
到二十四年(1545)，世宗微微覺察到嚴嵩的貪婪和放縱，又想到了夏言，派官員送親筆诏書召他回朝，恢複了他的少師等全部官職，也加封嚴嵩為少師，像是與夏言并重的樣子。
夏言來以後，一直氣憤嚴嵩淩駕在自己頭上，凡有所批示，概不征求嚴嵩的意見，嚴嵩閉上嘴巴不敢說一句話。
嚴嵩私自所提拔使用的人，夏言大加罷斥、放逐，嚴嵩也不敢幫忙，但對他恨入骨髓。
當時全國的士大夫正恨嚴嵩貪婪、嫉妒，認為夏言能壓服嚴嵩，制其死命，莫不深感痛快。
而夏言因為罷官時間長了，現在一心要擴大權勢。
文選郎高簡充軍邊遠，唐龍、許成名、崔桐、王用賓、黃佐被罷官，王杲、王日韋、孫繼魯吃官司，都出于夏言的指使。
貴州巡撫王學益、山東巡撫何鳌被谏官彈劾，夏言馬上就草拟命令加以逮捕、審訊。
唐龍過去與嚴嵩相好，王日韋的事又牽連着世蕃，還有其他被他貶斥的也不全恰當，因而朝廷中士大夫對他開始畏懼了。
最後禦史陳其學因鹽法的事情彈劾崔元及錦衣都督陸炳，夏言草拟命令要他們自己寫供詞說明，兩人都到夏言跟前認死罪，陸炳乃至跪下雙膝請