胡宿又擔任樞密副使。
曾公亮掌管雄州，趙滋專門治理宋遼界河之事。
胡宿對英宗說：“憂患将來臨時，多潛藏于隐晦之處，發生于人們疏忽的地方。
從趙滋駐守邊防後，北人捕魚、砍葦草都被禁止，因而常鬧糾紛。
南北通好六十年了，内外都安甯。
近幾年邊界上的糾紛，不過是侵占尺寸土地，這都是城寨上的官吏們相互寫信就可以辨别是非曲直的，何至于大動幹戈呢？現在士大夫中有些人，恥于燕薊被遼人占據，但機會沒來，萬難實現的收複之事豈可勉強去求。
希望能堅守兩朝的法度，以使人民安居樂業，天下就幸運了。
”胡宿因為年紀老，幾次想退休。
治平三年(1066)，退為觀文殿學士、杭州知府。
次年，以太子少師身份退休，沒來得及向皇上謝恩就死了，年七十二歲。
追贈太子太傅，谥号“文恭”。
胡宿為人清高、謹慎、忠厚、淳樸。
性格剛強、固執，表面慈祥，與世無争。
與衆人群處時不放聲喧嘩、不大笑，同人談話必然想好了才講。
因此處事着重于“慎”，不輕易做，一做就不半途而廢。
為母親服喪三年，沒有回過自己的小房間。
擔當重任時，尤其顧全大局。
在審官、刑院時，選拔詳議官，有一個候選人曾監專營物質，因為水災而欠了一些，同事們認為這點小過失不值一提，胡宿竟然也将這一問題提了出來，但又推薦說這人的才幹可用，仁宗聽了他的話。
同僚們退朝後譏笑他說：“你本來是要推薦他的，如果因為說了他的問題而皇上不用他，怎麼辦？”胡宿說“：皇上所要選拔的不過是一個詳議官。
胡宿平生以誠心對待君主，現在頭發都白了，還忍心欺騙皇上一絲一毫嗎？正該開誠布公地全面陳述，然後聽任明君自己主張。
”小時同一和尚關系親密，和尚有秘術，能把瓦石化為黃金。
快死時，想把這一法術傳給胡宿，使胡宿負責安葬他。
胡宿說“：你的後事我自當盡力操辦，其他的不是我企望的。
”和尚歎道：“你的志氣，不可限量啊。
”他誠笃以行，嚴于律己，當大官後還和平民時一樣。