忘記了先皇帝而看重親生父母，采用私人間的情感而放棄國家的大義。
我們這些大臣對此無法推卸責任。
”就此自請罷免官職。
大臣谏诤的有一百多人。
世宗迫不得已，于是在嘉靖元年(1522)下诏，稱孝宗為皇考、慈壽皇太後為聖母，興獻帝、後為本生父母，不稱為皇帝、皇後。
在這段時間裡，廷和先後四次把世宗的親筆批示密封退回，堅持自己的意見，上了近三十篇奏章，世宗常常憤憤不平。
他身邊的親近人物因而得以批評說廷和放肆，失掉了對皇上應有的禮貌。
谏官史道、曹嘉于是交互揭發廷和的罪過。
世宗為此把史道、曹嘉輕輕貶了一下，用以穩住廷和，但是心中對廷和的意思已經轉變了。
不久評定輔立新君的功績，封廷和、蔣冕、毛紀為伯爵，每年俸祿一千石，廷和堅決謝絕。
改為蔭封錦衣衛指揮使，又推辭不受。
世宗以為封賞太輕，改加為蔭封四品京官世襲，廷和又推辭了。
适逢複職滿了四年，就破例加封他為太傅，他又四次辭讓，才算作罷。
世宗特地頒發诰敕對他予以表彰，并在禮部為他賜酒宴一次，九卿都參加作陪。
世宗很喜歡請僧、道設齋壇祈禱。
廷和極力說它沒用，引用梁武帝、宋徽宗的事例來做論說。
世宗以贊賞的語氣诏告可以采納。
江南近年來欠收，宦官又請求派人到那裡督辦織造。
工部及給事中、禦史提出谏勸，世宗不聽，催促内閣為此起草命令。
廷和等人不接受命令，并且極力說江南百姓貧困，财富枯竭，請不要派遣宦官前去。
世宗這下催得更急了，并且告誡廷和不要執拗、幹擾這件事。
廷和竭力争辯說“：我們幾個人同滿朝大臣、谏官說的話皇上不聽，卻願意聽二三個邪佞的話，皇上能跟這二三個小人一起治理祖宗打下的天下嗎？況且陛下以為織造是曆朝的舊例，不知道洪武以來哪有這舊例，隻不過創始于成化、弘治年間罷了。
憲宗、孝宗愛護人民、節約财用的好政策不少，陛下不去采用，偏偏仿效這不好的措施，這是為什麼？陛下即位的诏書，把宦官僥幸的門路堵塞得差不多沒有了，天下人正在傳誦陛下的美德，現在忽然出現此事，怎麼能向天下人取信呢？”進而請追究拟寫聖旨的是什麼人，懷疑有人假借禦批的名義偷偷地推行他的個人主張。
世宗為此道歉說自己不仔細，讓他們告誡所派宦官不要放肆就是了。
這件事最終還是沒能制止。
廷和過去曾屢次上書請求退休，後來就更加堅決了。
又因為獻帝稱考不稱考一事與世宗的主張不一緻，奏章中露出不平之氣。
三年(1524)正月，世宗聽任他離去。
批評他因為言語的不同錯怪君上，不合做大臣的道理。
不過仍然賜他加蓋玉玺的書券，按照常例供給他車馬、錢糧、護衛人員，重申以前蔭封一子錦衣衛指揮使的任命。
給事中、禦史請求挽留廷和，世宗都不予答複。
廷和離開後，才開始讨論稱孝宗為皇伯考。
在這個時候，廷和的兒子、修撰楊慎率領衆大臣爬在宮門外哭争，被打了一頓大杖，貶往雲南。
過後王邦奇誣蔑廷和和他的二兒子、兵部主事楊忄享，女婿、修撰金承勳，同鄉、侍讀葉桂章與彭澤的弟弟彭沖相互勾結、請托，他們全被抓進京城的大牢裡，經審訊沒有根據，才被釋放。
七年(1528)，《明倫大典》編成以後，世宗诏令議定過去讨論“大禮”時反對君上的大臣的罪。
認為廷和錯誤地主張《濮議》之例，自我吹捧，把天子視同他的學生，把自己描繪成輔立天子的國家元老，依法應把他斬首，姑且削職為民算了。
第二年六月，廷和去世，終年七十一歲。
過了很多年，世宗問大學士李時太倉裡積蓄有多少，李時回答說：“可以支付幾年。
這是由于陛下初年即位诏書裁減多餘人員換來的。
”世宗感慨地說“：這是楊廷和的功勞，是不能抹殺的啊。
”隆慶初，廷和被恢複官職，追贈太保，谥文忠。