。
趙文華上奏告曹邦輔避難擊易，緻使戰敗，總督楊宜也奏曹邦輔故意違抗節制。
給事中夏木式、孫..為曹邦輔抗争，曹邦輔沒有獲罪。
趙文華回到京城，上奏餘賊已掃盡，而巡按禦史周如鬥又奏失敗的情況，皇帝很懷疑趙文華。
趙文華因而說“：敵賊容易殲滅，督撫的人員不當，緻使戰敗。
我過去論告曹邦輔，夏木式、孫..卻生事誣蔑我。
東南塗炭何時能解除啊。
”于是逮捕拘囚曹邦輔，将他谪戍朔州。
隆慶元年(1567)，楊博治理吏部，起用曹邦輔為左副都禦史，協助處理院事。
晉官兵部右侍郎，管理軍政。
不久以左侍郎兼右佥都禦史，總督薊、遼、保定軍務。
他說修治邊牆并非上策，應當緊急練兵；兵練成之後才能謀議邊事。
用給事中張鹵的話，召曹邦輔為右都禦史，掌管院務。
皇帝因京營事重，改協理為閱視，将京營交給懂得軍事的大臣，遂以左都禦史召還任職。
之後，聽從恭順侯吳繼爵的話，又改閱視為提督。
不久，轉為南京戶部尚書。
上奏督倉主事張振選不聽管束。
吏部因而說：“過去執政喜歡别人取悅自己，屬下的官吏依靠它來作為奧援。
構陷朝堂上官員，以至于屈身降意，倒置名份。
在外的巡按禦史也曲庇進士推為知己，監司賢與不肖出自他的口吻。
禍害政治沒有比這更厲害的。
”穆宗深深感到這些話是對的，于是貶黜張振選，整治内外諸司，但終不能改變。
曹邦輔多次乞求退休，皇帝不聽。
萬曆元年(1573)獲準去京師，又因病請求離去，并且說辛愛有非分的企圖，應當謹慎防備他。
于是引退離去。
過了三年，死去。
贈太子少保。
曹邦輔廉潔剛直。
在吳中被逮時，有司送上所儲俸錢，被揮之出去。
做官四十年，家裡沒有餘錢。
巡撫、巡按向皇帝報告這個情況，皇帝下令派遣右評事劉叔龍為他營造墳墓。