也沒有什麼能比得上朋黨。
朋黨之說的興起，其開端源發于士大夫，而其禍患遍及于天下。
過去的事情已經很清楚，希望陛下建公正的準則于聖心。
秉公聽取意見全面觀察事情，破壞黨派解散群體，确是君子就重用他，确是小人就廢棄他，不要問他是哪黨哪派的。
”又說“：古代的帝王，固然能夠了解自己掌握了大權，但是卻不知道臣下竊弄大權。
大臣竊弄大權則權在大臣，大将竊弄大權則權在大将，外戚竊弄大權則權在外戚，親近小人竊弄大權則權在親近小人。
竊弄大權，最難防備的，那隻有親近小人了！他們不敢公開竊權，而是暗中竊權，但開始暗中竊權，其最後必然是公開竊權，這難道不可怕嗎？”
光宗紹熙元年(1190)，楊萬裡以煥章閣學士的身份為接伴金國賀正旦使兼實錄院檢讨官。
适值《孝宗日曆》修成，參知政事王蔺根據過去的規矩要楊萬裡為之做序，而宰相卻令禮部郎官傅伯壽做序。
楊萬裡便以失職而請求離職，皇帝宣命竭力挽留。
遇到進奉《孝宗聖政》，應當由楊萬裡奉進，可是孝宗還是不高興，萬裡遂出任江東轉運副使，暫時代理總管淮西和江東軍馬錢糧。
朝廷想在江南各郡實行鐵錢，楊萬裡上疏稱說鐵錢不方便，不奉诏命，觸犯了宰相的意思，改任贛州知州。
楊萬裡不赴任，請求祠祿官，授給秘閣修撰、提舉萬壽宮，從此不再出面了。
甯宗即位，召赴行在，他辭謝。
後升煥章閣待制，提舉興國宮。
到了退休的年齡，他請求退休。
進寶文閣待制，退休。
嘉泰三年(1203)，皇帝下令進封他為寶谟閣直學士，賞賜衣帶。
開禧元年(1205)又召他，他再一次推辭。
第二年，升寶谟閣學士。
逝世，終年八十三歲，追贈光祿大夫。
楊萬裡為人剛強而偏狹。
孝宗起初愛他的才能，征求周必大的意見。
周必大對楊萬裡沒有好評，因此不被重用。
韓..胄當政，想網羅四方知名人士為他的羽翼，曾經修築南園，囑托楊萬裡做記，許以中書、門下省的高位。
楊萬裡說“：官可以抛棄，記卻不可寫。
”韓..胄非常生氣，便改命他人做記。
楊萬裡在家閑了十五年，都是韓..胄把持國柄的時候。
韓..胄專權僭越日益嚴重，楊萬裡非常憂憤，郁郁成疾。
家裡人知道他是憂國，因此凡是邸吏通報當時的政治形勢的都不告訴楊萬裡。
有一天忽然他的族子從外面來，立即告訴他韓..胄對金用兵的事。
楊萬裡聽了失聲痛哭，馬上叫拿紙來寫道：“韓..胄奸臣，專權跋扈目無皇上，輕易動兵殘害人民，陰謀危害國家。
我的頭在此，卻落得個報國無路，惟有一個人孤獨憂憤！”又寫了十四言留别妻子，寫完後就逝世了。
楊萬裡精于詩歌，著有《易傳》流行于世。
光宗曾為他寫“誠齋”二字，學者稱他為“誠齋先生”，死後賜谥“文節”。
其子名長孺。