即使有李林甫、秦桧那樣的人，也不能夠在皇上身邊随意搗鬼。
”他的話是針對夏言而說的。
于是鶴鳴上書自我表白，并列舉了霍韬居住在家鄉時幹下的許多違法事件。
世宗把兩邊都擱下不問。
沒過多久，霍韬彈劾南京禦史龔..、郭本。
龔蔔等為自己辯解的同時也上書彈劾霍韬，世宗又一次擱下，對雙方都不追究。
十八年(1539)，朝廷選拔東宮官員時，任命霍韬以太子少保、禮部尚書的官銜掌管詹事府的事務。
霍韬上書辭謝給自己的晉升，并且批評說有些大臣接受俸祿不肯謙讓，晉升官職也不推辭，其中難免有拉幫結派禍國殃民的奸人，暗中鞏固自己的權威。
百姓的怨氣引來天災，在人事方面實際上是有原由的。
他的意思還是針對夏言而發的。
他自己屢次攻擊夏言不能取勝，最後見郭勳與夏言有矛盾，就暗中勾結郭勳，和他一道谄害夏言。
當時朝廷内外風言四起說世宗又要南巡，霍韬借此上書明顯地贊頌郭勳，說：“上次陛下南巡時，跟随的大臣大多都收受賄賂、不守法度。
文官隻有袁宗儒，武官隻有郭勳沒有接受饋贈。
現在謠言又興起來，應該采取一定辦法加以制止。
”世宗在頒布诏書穩定人心以後，才責問霍韬說：“我前次南巡你又沒跟着，别人受賄的事你從哪兒聽說的？你如實給我奏上來。
”霍韬回答時請世宗向郭勳詢問此事。
世宗批評他支吾其辭，務必要他切實指出來。
霍韬走投無路了，隻好說：“随從大臣們無不接收饋贈、虧損直性的仆役，這事隻要問夏言就可以了。
至于各人收取賄賂的實際情況，郭勳都整個知道，應該不是騙人。
如果一定要我說，請讓我擔任都察院的職務，順藤摸瓜進行追查，我一定詳細地列出來奏上。
”他的奏章被下發給有關部門。
霍韬怕自己的奏議不合世宗的意思，很快就趕到了北京，上書述說進貢鮮貨的船上宦官貪婪、橫暴的事情，世宗也不加查問。
第二年十月，霍韬死在任上，終年五十四歲。
朝廷追贈他為太子太保，谥文敏。
霍韬學問廣博，本領很大，但肚量狹窄，所到之處總是與人争鬥。
世宗心中很有點厭惡他，所以沒有太重用他。
不過霍韬前前後後有過很多奏議，其中很有一些同國家大計有關。
并且他還推薦過“大禮”一案被治罪的大臣們和被除了名的李夢陽、康海等。
在南都做官時，他禁止守喪的人家設宴飲酒，不許婦女出家當尼姑、道姑，懲辦娼戶買良家的女子，拆毀多餘的祠堂廟宇，興建社學，遣散和尚、尼姑，表彰忠臣烈士等。
他離開以後，當地士紳、百姓還思念他呢。
霍韬開始與張璁、桂萼結交，不久又與郭勳拉扯。
他在毛澄主考時中進士，素來向毛澄行弟子之禮，由于在“大禮議”中意見不一緻，于是再也不稱毛澄為恩師了。
等到他主考己醜(1529)會試，也不認唐順之等人為門生。
他在議論大禮時，抨擊司馬光，以緻追論不可将司馬光列入孔廟陪祀。
霍韬就是這樣不顧公論，自以為是。