使蕭彥莊攻擊李秉，又逐出尹..、羅王景，人們都很厭惡而又害怕他。
過了一年，他患風疾離去。
孝宗繼位時，萬安起草登基诏書，禁止言官借風聞之事挾私情，中外人士嘩然。
禦史湯鼎到内閣去問，萬安從容說道“：這是裡面的意思。
”湯鼎即把萬安的話上奏皇上，說萬安壓制阻塞言路，還把過錯歸咎于君主，沒有人臣之禮。
于是庶吉士鄒智、禦史文貴、姜洪等人紛紛上書論列萬安的罪狀。
在此之前，有歙縣人倪進賢，粗知書，但沒有品行，對萬安阿谀奉承，每天跟他講房中術。
萬安很喜歡他，讓他去考試，得了進士，被授予庶吉士，任禦史。
有一天皇上在宮中得到一小盒奏疏，發現裡面都是論房中術的，末尾署名是“臣安進”。
皇上命太監懷恩拿着它到内閣，說：“這是大臣所應該做的嗎？”萬安羞愧流汗，伏在地上，無法出聲。
到大臣們彈劾他的奏章呈入後，皇上又命懷恩對着萬安讀。
萬安多次跪起求哀憫，沒有離去之意。
懷恩上前摘下他的牙牌說“：你可以出去了。
”萬安這才慌着找馬歸到家中，請求退休離去。
當時他已七十多歲了，路上還在望三台星，希望能得複用。
過了一年，他去世，贈太師，谥文康。
當初，孝穆皇太後之死，内廷紛紛暗指是萬貴妃做的手腳。
孝宗即位後，魚台縣丞徐顼上書揭發這件事。
廷臣建議逮捕審問曾經出入禁宮的萬氏的親戚等人。
萬安驚恐不知所為，說：“我已久不與萬氏往來了。
”而劉吉先已與萬氏聯姻，這時也自危。
他的黨羽尹直還在内閣，他們共同草拟聖旨壓下了這一建議。
孝宗仁厚，也放過他們不問，萬安、劉吉得以無事。
萬安在政府二十年，每遇科舉考試，一定令他的門生任考官，因此他的子孫外甥女婿多得登第。
兒子萬翼，任南京禮部侍郎。
孫子萬弘璧，是翰林院編修。
萬安死後不久，萬翼、萬弘璧也相繼死去，萬安竟然絕後。