他就彈劾處州知州趙善瀚、台州知州沈..等七人仗勢欺壓百姓，他的奏疏獻上後，沒得到答複。
高斯得改任江西轉運判官，高斯得請求辭職，并一五一十地陳述自己的理由，他上奏說：“臣彈劾趙善瀚等七人，沒得到批準奏章的答複，我本來就懷疑這一定是有他們的黨羽營救他們，蠱惑陛下，現在我蒙受恩惠改任江西轉運判官，才知道與我預料的一樣。
趙善瀚，是侍禦史周坦的嶽父，贓吏魁首，钅固于聖世，鄭清之和趙善瀚有老交情，就又給他知州的官職。
沈..，是同簽書樞密院事史宅之妻子的親戚。
自從祖宗以來，沒有監司彈劾官吏而不施行的，破壞法制、紊亂綱紀，沒有比這更嚴重的。
我身為使臣，彈劾官吏卻沒被采納，反而被調走擔任别的官職，我如果貪圖榮華富貴接受這個任命，那與世間沒有骨氣、不知羞恥的人有什麼區别？請罷去我的官職，用來告誡那些在其位不謀其政的人。
”高斯得的奏章獻上後，周坦自認為自己身為台谏反而被别人攻擊，就廣泛地懇請同僚彈劾高斯得，同僚們反駁他，周坦黔驢技窮，就親自上奏彈劾高斯得，希望皇上罷免高斯得的新任官職，不久，周坦也被罷官，趙善瀚等七人最終也被罷官。
高斯得擔任湖南提點刑獄，他推薦潭州通判徐經孫等六人。
攸縣富豪陳衡老，用自己家的仆從和糧食資助盜賊，劫殺平民百姓。
高斯得到任後，有訴訟這件事的，為首的官吏受賄後幫助陳衡老，陳衡老到公堂，為首的官吏拱手而立，十分恭敬。
高斯得揭露他的罪狀，把為首的官吏投到獄中，其他官員都驚慌失色、十分恐懼。
于是經過審問完全了解了這件事的情況，就處為首的官吏黥刑并被發配，高斯得把這件事一五一十地彙報給朝廷，朝廷毀去了陳衡老做官的資曆，記錄下他家。
恰好各縣發生水災，陳衡老願意拿出五萬石米赈濟災荒以便贖罪。
陳衡老的女婿吳自性，與陳衡老的館客太學生馮炜等謀劃中傷高斯得不經允許拆開官府的卷櫃。
高斯得向朝廷彙報，重新定下陳衡老的罪名。
拿出一箱文書，完全得到了吳自性等同省部官員勾結的情況。
高斯得一并把這些向朝廷彙報，皇上把這事送交天府，追查出受賄的銀子六萬多兩，吳自性與那些受賄的中央官吏高鑄等二十多人都被處以黥刑并被發配。
當初，吳自性用厚禮賄賂宦官對理宗說：“高斯得進獻了一百萬缗錢，希望能改在離京城近的地方做官。
”理宗說“：高某是有骨氣的人，怎能做這種事。
”高斯得極力請求辭官，鄭清之寫信挽留他。
高斯得又薦舉李日希顔等五人。
高斯得被加官為直秘閣、湖南轉運判官，改任尚右郎