境。
世甯在兵部呆了三個月後請求退休，世宗不同意，免了他進朝參拜一事。
世甯又上書陳述三件邊防事務，并堅持稱自己病重，于是世宗準許他乘車還鄉，按照規定發給他糧食和仆從。
回家才數月，又起用他做南京兵部尚書，他堅決辭讓，不肯接受任命。
九年(1530)秋天去世後，被追贈為少保，谥端敏。
世甯為人風格端莊、峻嚴，居官廉潔，疾惡如仇，而推薦賢人，卻惟恐他們仕路不通。
都禦史馬昊、陳九疇因罪被罷官，副使施儒、楊必進在考評中被黜斥，禦史李潤、副使範辂被當時大臣壓制，他都連章推薦。
與人說話，好像嘴笨說不出什麼，等撰寫奏章時，卻援引古今，洞察深微。
他和李承勳關系很好，但議論政事從不苟且迎合。
承勳想給隴勝封官，恢複芒部的故土，世甯說隴勝不是隴氏子孫，芒氏不應當重新設官。
起初議論“大禮”時他和張璁、桂萼意見一緻，張璁、桂萼感激他，想拉他一把，讓他幫自己的忙。
世甯卻不肯附合他們，議論政事常常和他們意見抵觸。
桂萼主張銷毀民間的兵器，世甯卻竭力反駁。
昌化伯以他姓子弟冒封，事下朝臣議論。
世甯說我們不能因為接受了豐厚的賄賂，就欺騙朝廷，桂萼聽了，臉色大變。
桂萼正當吏部尚書，而世甯稱病告退時，說：“老天發生災變，人民貧窮，盜賊遍地生，根源在于吏、戶、兵三部所用非人。
兵部問題尤為嚴重，請讓我給賢人讓開路吧！”又因為讨論哈密一事，言詞之中傷着了張璁，朝中大臣都忌恨他。
好在世宗皇帝對他始終恩禮不衰。
他有二子叫胡純、胡繼。
胡純因為父親做了肇慶知府，才能、品行都不錯。
胡繼小時不聰明，得不到世甯的了解。
世甯在江西外出讨賊，他的部将到府中見到胡繼。
胡繼為他們指點陣法，對部隊的進退、離合，考慮得很周密，給他們講解了三天。
世甯回來後檢閱部隊，大吃一驚。
問知原因後，感慨地說：“我有這麼個兒子，我自己卻不能識别他，是什麼道理呢？”從此以後外出攻打敵人，就讓胡繼跟在身邊，和他一同決定用兵方略。
世甯定計，十不失三，胡繼卻十不失一。
世甯正起草奏章揭發宸濠時，胡繼請求說“：這樣可是要闖大禍的呀！”世甯說“：我已經以身許國，哪還管得了其他？”等世甯被投進監獄後，胡繼想念他的父親，憂病而死。