員外郎李三才上奏認為魏允貞是對的，他倆一同被貶官調出京城。
魏允貞得到許州判官。
給事中、禦史周邦傑、趙卿等上疏申說救助，皇上一概不予接納。
魏允貞雖然被貶，但從此輔臣當權時，其子沒有再登進士的。
過了很久，逐級升到右通政使。
萬曆二十一年(1593)以右佥都禦史巡撫山西。
魏允貞平素剛正、果斷、清廉、脫俗。
因為山西地瘠民貧，力主裁減幕府的每歲上供和州縣的冗費，用這樣節約的萬餘銀錢修治亭障，修建烽火台，購置器具、馬匹以換取糧食。
又上奏請求免除平陽站每歲的定額銀八萬，用山西省郵傳節餘的費用來補充。
雁門、平定軍因為逃避屯田糧稅而逃跑，魏允貞上奏免除兩軍的地租，下令恢複開墾。
岢岚互市，省撫賞給銀錢六萬。
汾州有兩個郡王，管理人員與軍民雜處，知州職位太低不能制服，魏允貞奏請改為府。
自從互市後，邊政廢弛，魏允貞看到了要害，修築邊牆萬餘丈。
聲名大振，皇上數次嘉獎他的才能。
恰好下诏讓宦官張忠在山西采礦，魏允貞上疏極力主張不可，皇上沒有答複他。
不久，西河王知燧請求開鑿解州、安邑、绛縣的礦産，以儀賓督促有關事宜。
指揮王守信請求開鑿平定、稷山各礦山。
皇帝都批複同意。
魏允貞恐怕老百姓受到更多的幹擾，請求命令讓張忠一個人管理，皇上也不同意。
三殿受災，皇上下诏懇求大臣講實話。
魏允貞認為過錯在于輔臣，曆數趙志臯、張位的罪行。
并且說：“這二個人在二月加了恩寵，過了一個月兩宮發生災亂。
今年又加恩，三殿又受災，天意啊！”張位極力為自己辯解，請求罷官。
皇上安慰，予以挽留，責備魏允貞是邊臣不當議論朝政，因為屢被推舉不被任用，遂放肆亂言，被停發俸祿五個月。
不久，魏允貞上疏推舉被人忽視的賢明人士，請召回王家屏、陳有年、沈鯉、李世達、王汝訓和小官史孟麟、張棟、萬國欽、馬經綸、顧憲成、趙南星、鄒元标等，上疏被留在禁中。
過了很久，他才按程序提拔為右副都禦史。
萬曆二十八年(1600)春天，上疏陳明時政的過失，說：“從地方考察選取的各位臣僚，幾經論辯、推薦，皇上還是沒有輕意地授予一官。
那個魯