吳與弼，字子傳，号康齋，崇仁人。
父吳溥，建文時為國子司業，永樂年間為翰林修撰。
與弼十九歲那年見到《伊洛淵源圖》一書，非常仰慕。
他不去參加科舉考試，閉門盡讀《四子》、《五經》及程朱的著作，數年不下樓。
中年時，家境更貧，他參加耕稼，凡是不正當的利益，絲毫不取。
對于四方前來求學的人，他教誨不倦。
正統十一年(1446)，山西佥事何自學向朝廷舉薦，請授他文學高職，後來禦史塗謙、撫州知府王甯又向朝廷薦舉，他都不肯接受。
他曾歎息說：“宦官、佛教不除掉，要想天下治理好，是困難的。
”景泰七年(1456)，禦史陳述奏請朝廷聘請他為皇帝講經，或在國子監講學，教育貴族子弟。
朝廷诏令江西巡撫韓雍備禮聘請，他仍是不肯就職。
天順元年(1457)，石亨打算召來一些賢者，以表示自己對他們的尊重，便與大學士李賢商議，囑咐他起草奏疏，向皇帝推薦。
英宗命李賢起草诏書，遣行人曹隆帶着禮物莊重地征召吳與弼上京。
與弼到了朝廷，被授左春坊谕德之職，他上疏辭謝。
皇帝在文華殿召見，問他為何辭職，回答說：“我不過是個貧賤之人，本無高深學問和高尚德行，陛下聽到的并非真實情形，又不幸有好狗馬的毛病。
朝廷令使臣帶重禮來召我，臣慚愧地受到特殊優待，不能不勉力來到京師。
我今年已六十八歲，實在不能為官。
”英宗說“：在宮中做官，事情不多，不必推辭。
”賜錦緞酒食，遣宦官送