如，無所事事嗎？
“現在，金兵報浮光之仇的情形又快出現了，他們想以十六縣的人衆，于四月攻掠浮光，侵奪五關，暫且以一縣有五千人參加，就應當有八萬人來攻打浮光了，以一萬人來割我們的麥子，以五萬人來攻奪我們的關隘。
我們守關的不過五六百人，豈能夠抵擋萬人之衆呢？那麼，關隘不可以防守是肯定的了。
五關失守以後，那麼蕲州、黃州決不可能保住；蕲州、黃州不能保住，那麼，江南就危險了。
尚書聽到這個話已有幾天，然而沒有聽說有什麼施行的對策，不知為什麼？”
其他的話，言辭都很激動，切中要害，李珏的同黨、幕僚都很忌妒他，共同诋毀、排斥他。
這以後，光州、黃州、蕲州相繼失陷，果然像他所預料的那樣。
于是力求辭職而去，不斷地請求祠官。
不久，黃幹又一次被任命為安慶府知府，沒有就職，到廬山拜訪他的朋友李燔、陳宓，相與盤旋玉淵、三峽之間，俯仰拜谒老師到過的舊迹，宣講《乾》、《坤》二卦于白鹿書院，廬山南北的士大夫們都會集于此。
不久，被召赴朝廷上書奏事，任命為大理寺丞，沒有接受任命，被禦史大夫李楠所彈劾。
起初，黃幹在荊湖北路幕府任職，奔走于各地關隘，與江、淮各地的豪傑交往，而豪傑往往願意依附黃幹。
等到輔佐治理安豐、武安，諸将都誠心歸附于他。
後來輔佐治理建康，主管漢陽軍，其名聲日益顯著。
各位豪傑又深知黃幹倜傥有謀略，來到安慶時，又兼任制置幕僚，長淮各地軍民之心，全部一心傾向于他。
這樣的風聲一傳出，在權位上的人更加妒忌他，又擔心黃幹入見皇上時，一定直言相告邊防的事情，以使皇上的心意感悟，至此，衆多僚臣一起排擠他。
黃幹于是回歸鄉裡，學生日益增加，巴蜀、江浙、荊湖之士都有來投他的，編輯禮儀，著寫書籍，每天沒有閑暇，晚上與他們講論經典，論說理義，勤勉不倦，借鄰寺為住地，朝夕往來，質疑問難請求教益像朱熹講學的時候一樣。
不久，任命他擔任潮州知州，推辭沒有赴任，差遣主管亳州明道宮，過了一個多月就請求辭官歸居，诏令同意，特地授予他職為承議郎。
死了幾年以後，因為門人請求賜谥，又特地贈賜他為朝奉郎，給與他一個兒子為下州文學職，賜谥“文肅”。
著作有《經解》、《文集》流行于世。