嚴嵩是将死的人了，這些人還望您哺育他們。
”徐階推辭說不敢。
不久，皇上采用方士藍道行的話，有意疏遠嚴嵩。
禦史鄒應龍到一個宦官家避雨，知道了這事，便上疏全力彈劾嚴嵩父子違法，他說：“如臣所說不符合事實，請斬下臣的首級來向嚴嵩、世蕃謝罪。
”皇上降聖旨安慰嚴嵩，都以嚴嵩溺愛世蕃，有負皇上眷愛和倚重為名，令他退休，用驿車送回家，讓有關當局每年給他一百石糧食，而将世蕃依法審判。
嚴嵩為世蕃向皇上請罪，并且請求釋放世蕃，皇上不聽。
司法部門上奏判世蕃和他的兒子錦衣衛官員鹄、鴻，以及門客羅龍文發配戍邊。
皇上下诏同意，但特别寬宥嚴鴻為民，讓他服侍嚴嵩，而将他的家奴嚴年關押在獄中，将鄒應龍提升為通政司參議。
這是在四十一年(1562)五月。
羅龍文官任中書，與嚴嵩父子狼狽為奸，而嚴年最為狡猾兇惡，他就是士大夫們所稱的萼山先生。
嚴嵩既已離去，皇上懷念他輔助自己信奉道教的功勞，心中悶悶不樂，便告訴徐階想傳位給太子，自己退居西内。
徐階極力勸谏說不可。
皇上說“：如果你們不想讓我退，那就都必須奉老君之命，共同輔助我參修玄功才行。
嚴嵩已經退了，他的兒子世蕃也已伏法，還敢再反動的，把他同鄒應龍一起斬首。
”嚴嵩知道皇上想念他，便賄賂皇上左右的人，揭發藍道行的陰事，将他押往刑部，企圖讓他供出徐階。
藍道行沒有承認，便将他判了死罪，不久釋放。
嚴嵩當初回到南昌時，正值皇上生日，便派道士藍田玉在鐵柱宮設齋醮。
藍田玉善于招引鶴鳥，嚴嵩向他取得符..，将它與自己的祈鶴文一起上呈給皇上，皇上下诏褒獎他。
嚴嵩因此上書說：“臣已八十四歲了，而唯一的兒子世蕃和孫子鹄都在邊遠地區戍守，乞請将他們移往方便的地區，使他們能贍養老臣，讓臣能安度餘年。
”皇上不許。
第二年，南京禦史林潤上奏：“江洋巨盜多逃入羅龍文、嚴世蕃的家。
羅龍文住在深山中，乘坐軒輿，穿蟒衣，有據險不臣之志。
嚴世蕃得罪之後，與羅龍文天天诽謗時政。
他們建府第時動用了四千名勞工，人們都說兩人交通倭寇，将有不測之變。
”皇上下令林潤逮捕他們，交給司法部門判了斬刑。
兩人都被誅殺，嚴嵩和他的孫子也被廢為民。
嚴嵩竊權二十年，他溺愛信任惡子，流毒天下，人們都将他指為奸臣。
至于判嚴世蕃犯了大逆之罪，則是徐階的主意。
又過了兩年，嚴嵩垂老而且有病，在墓舍寄食而死。