三年服滿，憲宗授他戶部尚書，不久加封太子太保。
成化二十年(1484)，兼任左副都禦史，總督大同、宣府的軍務。
這年冬天返回朝廷。
第二年正月，星相有變異，餘子俊陳述時弊八種，憲宗大多采納。
沒多久，又到邊境巡視。
當初餘子俊巡視宣府大同兩鎮，要求以延綏邊牆法在兩鎮推行，因年成歉收而停止。
到這次他又巡視邊境，他堅決要推行，他說東起四海治，西抵黃河，連綿一千三百餘裡，舊有墩一百七十個，應增建四百四十個，墩高寬都是三丈，估計需要勞動人手八萬六千人，幾個月可以完成。
憲宗下诏書同意第二年四月開工，然而到了那個時候，年成不好，國家和百姓都不寬裕，陡然興建大工程，上下都感到困難。
子俊又想責成邊臣去完成，而自己不親自管這件事，由此招來毀謗和議論。
到冬天，他上疏請求還京，憲宗聽信謠言，改任他為左都禦史，撫巡大同。
宦官韋敬進讒言說子俊借修邊牆侵吞财物，又彈劾他以私人恩怨換将帥。
兵部侍郎阮勤等為他辯白，憲宗發怒，責備阮勤等。
而給事中、禦史又紛紛呈上奏章彈劾，宦官大半想搞垮子俊。
工部侍郎杜謙等前往調查，按實事情況公平地對待，返京向朝廷奏報換置将帥是同阮勤說的情況相符，沒有侵吞建邊牆的費用。
然而花費銀一百五十萬兩、米豆二百三十萬石。
耗費财物，勞動百姓，不能說沒有罪。
于是削去太子太保職，退休回家，這時是成化二十二年(1486)二月。
第二年正月，兵部缺尚書，憲宗醒悟到子俊無罪，又召他回來任職，仍加封太子太保。
明孝宗繼位，因餘子俊是先朝老臣，對他更加尊敬。
弘治元年(1488)，他上疏陳述十件事，完後又陳述邊防七件事，孝宗大多同意實行。
第二年，餘子俊病重，還親自撰寫奏稿，陳述救荒息盜的辦法。
剛剛得到朝廷的允準就去世了，享年六十一歲。
追贈太保，谥号肅敏。
子俊深沉、剛毅，寡于言詞，有謀略。
凡是奏章疏議公文，必定親自起草。
每天到半夜才睡，他曾說：“大臣為國，應當不考慮自身利害關系，怎能躲避埋怨換取恩惠，為保全自己作考慮？”因此榆林邊牆工程才開始，怨言诽謗衆起，子俊态度更堅決，終于大功告成，有利于後世幾代人。
餘子俊孝順父母、友愛兄弟，為母喪守服時，要兒子餘蜫不參加會試，他說“：雖然律令上無這條，但我于心不忍。
”本當蔭庇封兒子官職，他改為蔭庇封弟弟官職。