回住處安息。
并對李賢說：“此老頭并非迂闊之人，務必令他就職。
”皇上對他待遇越優厚，他辭謝得越堅決，上疏說：“臣學術淺陋荒疏，如果冒昧受祿，必耽誤公事。
”皇帝不許。
與弼不得已，隻有請求不穿朝服，仍住在館舍中，借讀于秘書閣。
在京師留住了兩月，因病力請回鄉，在李賢的勸說下，皇帝同意了，派行人送還，命當地官府每月給與弼米二石。
與弼回家後，上表稱謝，并陳奏尊崇聖人之學說主張、廣建學校等十事。
成化五年(1469)逝世，享年七十九歲。
吳與弼初到京師，李賢推他上座，以尊敬師長之禮相待，而令編修尹直坐于側。
尹直非常氣憤，出來就诽謗與弼。
與弼回到家鄉，知府張王貴求見不得，很不高興，募人代與弼的弟弟投文控告與弼，張王貴立即派人把與弼逮捕至府衙大加侮辱，然後送回。
與弼知道這不是出自其弟本意，仍與他友愛。
編修張元桢不知張王貴誣陷與弼一事的始末，緻書譏笑他，其中有“上告素王，正名讨罪，豈容先生久竊虛名”之語，尹直也把這件事寫在《瑣綴錄》中。
有人說與弼在為石亨族譜所寫的《跋》中，自稱“門下士”，士大夫因此對與弼有非議。
後來顧允成指出“：這是那些愛管閑事的人幹的。
”後來，吳與弼的學生都能入祠享受祭祀，而與弼卻不能。
所著《目錄》，都是記錄自己平生學問所得。
其門人最著名的有胡居仁、陳獻章、婁諒，其次是胡九韶、謝複、鄭伉。