十年宮婢之變後，即移居西苑萬壽宮，不進入大内，大臣極少得以拜見，惟有嚴嵩一人得承皇上顧問，皇上的手劄有時一天投給他幾次，而其他同事都不能聞知，因此嚴嵩得以肆意妄為。
但皇上雖然很禮敬嚴嵩，也不完全相信他的話，偶爾取一件事來自己處理，或者有時故意表示與他持不同意見，想以此來殺一殺他的氣勢。
嚴嵩父子獨得皇上傾心，如果想要解救誰的話，嚴嵩必先順着皇上的心意對他痛加诋毀，然後再向皇上委婉解悉，使皇上不忍給他加罪。
即使是對想要排擠陷害的人，嚴嵩也必先稱贊他的優點，然後再對他微言中傷，或者讓他能犯皇上所恥和忌諱的事情。
嚴嵩由此能左右皇上的喜怒，想幹的事往往沒有失手。
士大夫們紛紛攀附嚴嵩，時人稱文選郎中萬采、職方郎中方祥等人為嚴嵩的文武管家。
尚書吳鵬、歐陽必進、高耀、許論之輩，都惴惴不安地奉事嚴嵩。
嚴嵩掌權歲久，遍引私人占據了各要害部門。
皇上也漸漸厭惡他了，轉而逐漸親近徐階。
正好徐階的好友吳時來、張明中、董傳策都上疏彈劾嚴嵩，嚴嵩便密請皇上追究主使的人，将他投入诏獄，窮加懲治，但都問不出什麼來。
皇上于是不問，而安慰挽留嚴嵩，但内心卻不能平靜，徐階因此得以有機會排擠嚴嵩。
吏部尚書出缺，嚴嵩極力推薦歐陽必進提任，但才三個月即被罷斥。
趙文華違逆聖旨，受到貶職，嚴嵩也不能救。
有诏書說二位王子要在府邸完婚，嚴嵩極力請求留在後宮。
皇上不高興，嚴嵩也不能再堅持。
嚴嵩雖機警，能預先揣摩到皇上的心意，但皇上所下的手诏，語言多不可理解，隻有世蕃一目了然，答語無不正合皇上旨意。
到嚴嵩的妻子歐陽氏死後，世蕃應當護喪歸葬，嚴嵩請讓他留在京城的府邸中侍從。
皇上批準了，但從此不準他進入辦公室代嚴嵩起草诏書，世蕃隻好每天在家中縱情玩樂。
嚴嵩因接到的诏書多不能作答，便派人拿去問世蕃。
而世蕃往往正在恣淫，不能按時作答。
中宮使者相繼捉弄嚴嵩，嚴嵩不得已隻好自己動手，但往往不合皇上旨意。
他所進呈的青詞，又因多假手于他人而做得不好，由此他逐漸失去皇上的歡心。
正好萬壽宮失火，嚴嵩請暫時遷到南城離宮。
南城原是英宗做太上皇時居住的地方，皇上不高興。
而徐階營建萬壽宮卻很合皇上心意，皇上便更加親近徐階，有所詢問多不請教嚴嵩，即使是問到嚴嵩，也隻有祭祀方面的事情而已。
嚴嵩害怕了，設酒邀請徐階，讓家人向他跪拜，然後舉起酒杯囑托道：“我