林俊，字待用，福建莆田人。
成化十四年(1478)進士。
初任刑部主事，升任員外郎。
他為人耿直，不随俗浮沉，凡是牽涉到權貴人物，尚書林聰就交給林俊辦理。
一次他上書請把妖僧繼曉斬首，并把權宦梁芳問罪，憲宗大為惱火，把他打入诏獄中拷訊。
後府經曆張黹攵搭救他，也被關了進去。
太監懷恩極力營救他們，林俊才被貶為姚州判官了事，張黹攵貶為師宗知州。
當時朝廷中言路久已隔絕，他們兩個這下可說是名震京城，人們為他們編了一句話，說是“禦史在刑曹，黃門出後府”。
不久因為正月初一發生星變，憲宗省悟過來，就恢複了林俊的官職，改派他到南京去了。
弘治元年(1488)，林俊因人推薦升任雲南副使。
鶴慶玄化寺據說是有活佛，逢年過節這裡聚集了上萬名男女，争着用錢往佛面上塗貼。
林俊下令燒了這尊佛像，所得的捐款用來幫助窮苦百姓償還拖欠的款項。
後來他又拆毀了三百六十處濫建的祠堂廟宇，木料都撤下來修築學宮。
千崖地方的土著人刀怕愈想奪走侄兒的宣撫官，把他的大印劫去幾年不還。
林俊傳令過去警告他，刀怕愈這才歸還了侄兒的大印。
後來，林俊又升任按察使，五年調到湖廣去了。
在這期間他因為雨雪災異上書評議時政的得失、利弊，又說德安、安陸修建王府以及增修吉王府都工程浩大，耗費億萬錢财，百姓受不了這樣的征派。
所以他奏請按照甯王、襄王、德王府的舊例來辦，一切都務必減省，不必使用琉璃磚瓦和白玉雕欄，并請将此訂為律例。
孝宗沒有聽從。
九年，他上書稱病引退，沒等批複就徑自回去了。
很久之後，因人推薦朝廷起用他為廣東右布政使，他不接受任命；又起用他為南京佥都禦史，總管操江事宜。
十四年(1478)正月初一，陝西、山西地震水湧，林俊借此上書講述自古以來宮闱、外戚、太監、權臣的禍患，并且請求孝宗停止設壇求福，減少織造供應，清理役滿官員，停止工程建設，削減内府供應，節制各種賞賜，戒除遊佚享樂，疏遠邪佞小人，親近賢良之人。
又請求預先教育太子，進而薦舉侍郎謝铎，少卿儲馞、楊廉，已退休的副使曹時中，處士劉闵，說他們可以做太子的輔導官。
孝宗回答說知道了。
過後，林俊又屢次上書請求退休，推薦時中來接替自己，孝宗不答應。
江西新昌的一個百姓王武率領一幫人做了賊盜，巡撫韓邦問不能掃除他，朝廷傳令林俊前往巡視。
林俊親自走入王武的巢穴之中，王武便請為他效命，林俊把所有的賊黨