已。
近來路人皆知，左右親近大臣，在官吏的進退升降、任免之際，間或得到顯達的人，車馬輻湊，門庭如市，憑借權力寵愛，搖撼朝廷。
我擔心事态積漸而擴及，政歸寵臣，不在朝廷，凡所引薦進用的都是其所親近的人，凡所傾覆陷害的都是其所厭惡的人，其隻是側目畏懼，不敢指責，而且阿附順從，内外表裡的禍患，必将出現。
我因李祥獲罪而深究及此，這難道是矯激自取罪戾嗎？實在是因為士氣頹廢之中，稍稍忤逆權臣，則離去不再回來。
私下擔憂太甚，很擔心陛下勢單力孤，而相與維持國家的人漸少。
”
奏疏已上呈，祖儉在家待罪。
有聖旨，呂祖儉與人互相勾結欺罔皇帝，貶谪到韶州居住。
中書舍人鄧陽交奏，祖儉罪不至貶。
皇帝禦筆批示“：祖儉意在沒有君主，罪責當殺，流竄貶逐已經是寬恩他了。
”恰逢樓鑰給皇帝進讀呂公著元..初年所上陳十事，因此進言說：“像呂公著是國家大臣，還可十代寬宥其家，前不久太府寺丞呂祖儉因言事得罪，他是呂公著的孫子。
現在把他投貶嶺外，萬一倘若死去，聖朝有殺害言官的名聲，我私下替陛下憐惜。
”皇帝問“：呂祖儉所說的是什麼事？”樓鑰然後才知前不久對呂祖儉的貶谪不是出自皇帝的意思。
韓..胄對他人說：“再有救助呂祖儉的，當把他安置在新州居住了。
”衆人不敢說話。
有人對韓..胄說：“自從趙丞相離開朝廷，天下已經憤恨到極點，現在又把呂祖儉貶投瘴氣之地，如果不幸死亡，那麼怨恨愈加嚴重，不如稍稍徙往内地。
”韓..胄也醒悟。
呂祖儉到達廬陵，将要往嶺外，得朝旨改送吉州居住。
遇朝廷大赦，酌量移往高安。
慶元二年(1196)去世，诏令歸葬。
呂祖儉貶谪，朱熹寫信給他說：“我以官職則比子約你高，以皇上顧遇恩禮比子約你重，但坐視一群小人的作為，不能講一句話以報效皇上，卻讓子約你獨舒煩悶不平，觸犯衆小人而赴禍機，非常慚愧歎息。
”呂祖儉回信說“：在朝廷參予時事，就像在水火中，不可以居住一早上。
如果住在鄉闾間，治亂不知，又怎麼多說呢？”在谪所，呂祖儉讀書窮理，賣藥以自給。
每次出行，一定穿着草鞋徒步行走，作為過南嶺的準備。
他曾說：“因為世道變化有所摧折，而失去一向節操的人，本不值得講了；因為世道變化而意志勇氣有所增益的，也是出于本心。
”所寫文章有《大愚集》。
呂祖儉堂弟呂祖泰。