？”因此他堅持辭讓不肯就職，世宗還是不允許，經再三推辭，世宗最後同意了他。
霍韬先後推薦過王守仁、王瓊等人，世宗都采納了他的意見。
他又曾因為災異的發生上書陳述十多條革除弊政的意見，大多經讨論被實施。
張璁、桂萼被免除職務時，霍韬上書說谏官陸粲等人是受楊一清指使的，他兩次上書猛烈攻擊一清，結果一清被削職，而張璁、桂萼被召了回來。
世宗聽取夏言的建議，将分開來祭祀天和地，修建兩座郊祀台，霍韬極力說這樣子不對。
世宗不高興了，批評他蒙騙君上，自以為是。
夏言也上書替自己辯護，猛力抨擊霍韬。
霍韬一貫注意保持以前的印象，以便自我施展，現在看到世宗生了氣，就不敢辯解了，卻送給夏言一封信，把他痛痛地抨擊了一番，又把那封信抄錄一份送交法司。
夏言惱了，上書對世宗講了這件事，并且揭發了霍韬目無君主的七條罪行，連帶霍韬的來信一起交了上去。
世宗大為惱火，批評霍韬诽謗、嘲笑君上，心術不正，醜化好人，就把他關進了都察院的監獄。
霍韬自己從獄中上書哀求寬恕，張璁也兩次上書救他，世宗都不聽。
南京禦史鄧文憲上書說應該看到霍韬的善良願望，包涵他的戆直，并且說把天和地分開來祭祀等于是把父母安置在不同的地方，讓後妃到郊外親自養蠶就是廢除了男女、内外之間應有的防範。
世宗惱了，把他貶官到遠方。
霍韬在監獄中關了一個多月，世宗最後想到了他當初議定“大禮”的功勞，就讓他捐輸資财贖罪還職。
不久他因為母親去世回鄉去了。
廣東佥事龔大稔後來上書攻擊霍韬和方獻夫在家鄉幹下的違法事件，龔大稔反倒被逮捕，削了官籍。
十二年(1533)，霍韬複出，先後做過吏部左、右侍郎。
當時吏部的事情大多都由尚書做主，兩個侍郎一般無法幹預。
霍韬向尚書汪钅宏争取，侍郎才獲得了參議部事的機會。
霍韬一向剛愎自用，多次與汪钅宏争鬥，汪钅宏等人也很懼怕他。
不多久汪钅宏罷官，世宗長期不另外任命尚書，就讓霍韬主持吏部的事務。
内閣大臣李時有一次傳達世宗的意思，要任用鴻胪卿王道中為順天府丞。
霍韬說：“内閣大臣得到過皇上指示，這本沒什麼可疑的，但是我們還是應當再行奏請，以便杜絕弄虛作假。
”于是按照慣例，開列道中和應天府丞郭登庸兩個人的名字，讓世宗審定。
世宗喜歡他辦事照規矩來，就任用了登庸，把道中改任大理少卿。
過了很久，世宗讓霍韬出任南京禮部尚書去了。
霍韬前已和夏言結了怨，等夏言掌權以後，霍韬常常想找些事來陷害他。
一次他上書說“：不久前吏部打算推舉劉文光等人做給事中，沒幾天忽然又宣布作廢了，大家都說是内閣大臣壓了他們。
給事中李鶴鳴在考核時被貶了官，沒有幾天又官複原職，大家都說是經過行賄得來的。
陛下應該告誡吏部官員，叫他們不要受執政暗中指使，好讓天下人看到恩惠和刑罰都在朝廷掌握中，大臣中間