希望能追削奪去王安石封爵的稱号，明白地诏示中外，毀去他配享孔孟廟庭的肖像，使邪說妄議、淫辟怪論不能迷惑學者。
”
奏疏上後，王安石于是被降為從祀之列。
士人學習王安石的學問以考試科舉取第的事情，已有幾十年，不再知道他的過錯，忽然聽說王安石的學說是邪說，議論紛紛。
谏官馮解力主王安石的學說，上奏疏诋毀、指責楊時。
正逢學官中有争議的人，有聖旨令學官一齊罷免，楊時也被罷去國子祭酒。
楊時又說：“元..的黨籍中，惟有司馬光一人獨自被褒揚而顯名，而沒有涉及呂公著、韓維、範純仁、呂大防、安焘等人。
建中靖國年初，言官谏臣陳馞已褒揚贈賜，而沒有涉及鄒浩。
”于是元..年間各位大臣都依次接連恢複其名位。
不久，楊時四次上奏章請求罷除谏省，任命為給事中，推辭，請求辭官歸居，任命為徽猷閣直學士、提舉嵩山崇福宮。
楊時力辭直學士的任命，改命為徽猷閣待制、提舉崇福宮。
向陛下辭别時，還上書請求選将練兵，作為戰守的準備。
高宗即位，楊時擔任工部侍郎。
與陛下論對說道：“自古聖賢的君王，沒有不以典籍聖賢之學為務。
”受命兼任侍讀。
請求修編《建炎會計錄》，請求恤勉勤王的軍隊，請求寬恕敢于發表言論的人。
楊時連續上章請求外任，以龍圖閣直學士職提舉杭州洞霄宮。
以後告老，以本官辭職家居。
優遊于山林名勝之地，以著書講學為務。
卒年八十三歲，谥号“文靖”。
楊時在東郡，所交接的都是天下的名士。
先賢顯達之士陳馞、鄒浩都以老師的禮儀事奉楊時。
宋室南渡長江以後，東南的學者都推舉楊時為程氏的學問正統傳人。
與胡安國往來講述議論學問的時候尤其多。
楊時浮沉于地方州縣有四十七年，晚年居任谏省，僅九十天，凡所論說列舉的都切中時弊世道，而其中大的，則是分析王安石的經學，力排靖康年間的和議，使邪說不能發揮作用。
凡是紹興初年崇尚元..時的學術的人，而其中朱熹、張木式的學問之所以能夠得到程氏的正統之傳，而其源委脈絡相承都是出于楊時。
楊時的兒子楊迪，努力學習，曉通經典，也曾經以程頤為老師。