頤學說之殘餘，為輕浮放蕩宗主，叫作道學，妄自推尊。
每到一處則率門生數十人，依照春秋戰國時士人之态勢，妄自希求孔子、孟子曆次受聘之風采，若繩之以治世之法，則他可被視為亂人之首。
今日朝廷慕其虛名，讓他入朝奏事，将他安排在朝廷任職，逐漸加以使用。
而朱熹得到诏令之初，在道途中拖延時日，邀君索讨高價，門生更替為他遊說，政府準許谏官風聞彈劾，他這才進入京城。
經過皇帝召見，得到旨令，拜為郎官，立即心懷不滿，倨傲旁視，目空一切已多日，不肯就職，這難道是張載、程頤之學教他這樣？因為朱熹已被任命為兵部郎官，微臣應當統管，若不加以彈劾，其罪過是相同的。
望将朱熹停職罷官，暫且令他反省，以為事君無禮者之戒。
”
皇帝認為林栗言過其實，而大臣畏怕林栗強暴，不敢深入争論。
太常博士葉适獨自上封事與林栗辯論說“：考察林栗之言，始末對照，沒有一處屬實。
其中‘叫作道學’一語，嚴重失實，過去小人殘害忠良，大多有所指名，或者以為愛好虛名，或者以為标新立異，或者以為培植黨羽。
近來忽然創立道學之目，鄭丙首唱，陳賈附和，官居要職者暗中相互傳授，見到士大夫稍稍緻力于潔身自好，粗略能堅持操守，就以道學之名強加于他，幾乎如吃菜事魔，影迹犯敗之類。
往日王淮使台谏官員互為呼應，陰謀廢除正直君子，用的就是這種手段。
林栗為侍從官，不能傳達陛下之德意、志向與憂慮，反而繼承鄭丙、陳賈暗地相傳授之學說，以道學為大罪。
搜羅他人言語，構織罪狀，趕走一個朱熹固然沒有什麼害處，隻是恐怕從此遊辭無實，讒言橫生，善良受害，無所不有！願陛下嚴正紀綱，杜絕欺罔，摧毀抑制橫暴，以扶持善類，奮發剛斷以安撫公論。
”于是侍禦史胡晉臣彈劾林栗，林栗被罷免，離朝任泉州知州，又改任明州知州。
嗣後任宮觀之職直至去世，谥号“簡肅”。
林栗為人倔強耿直有才華，而性急不能受委屈，想發洩私忿，以緻攻擊诋毀名儒，廢絕師教，幾乎與鄭丙、陳賈、何澹、劉德秀、劉三傑、胡..等結黨殘害正直君子者同列。
即使早年論事，雄辯可觀，也不足以掩蓋晚年的錯誤。