高谷，字世用，揚州興化人。永樂十三年(1415)，中進士，被選為庶吉士，授予中書舍人。仁宗即位後，改為春坊司直郎，不久升為翰林侍講。英宗即位後，開講經筵。楊士奇推薦高谷和苗衷、馬愉、曹鼐四人侍奉皇上講讀。正統十年(1445)，他由侍講學士升為工部右侍郎，入内閣參預機務。
景泰初年，他升為尚書，兼翰林學士，仍掌内閣事務。英宗将回來時，迎接的禮儀太薄，千戶龔遂榮投書給高谷，說禮儀應當隆重些，可以援引唐肅宗迎回太上皇的故事。高谷把它裝在衣袖中帶入朝廷，拿出來給群臣看，說“：武夫尚且知禮，何況儒臣呢？”衆人都稱贊他說得好。胡氵熒、王直想報告皇上。高谷說：“迎接之禮已經重又議上去了，皇上久沒下決定。如果又呈進這封信，使皇上知道朝野同心，這可能也是一助。”都禦史王文認為不可。後來言官把這書信奏了上去。皇上質問從哪兒得來，高谷回答說“：從臣這兒。”随即他上書懇請皇上照龔遂榮的建議辦。皇上雖然沒有聽從，但也不加罪。
二年(1451)，高谷升為少保、東閣大學士。更換太子後，他被加封為太子太傅，支給二職俸祿。應天、鳳陽受災，命高谷祭祀三個祖陵，赈濟貧民。七年，他進升為謹身殿大學士，仍兼東閣大學士。内閣有七人，他們之間意見多不合。高谷清明正直，所持的意見也正。王文是高谷所推薦，卻屢次排擠高谷。高谷多次請求解除機要職務，皇上不許。都給事中林聰因忤逆權貴要人被判死罪，高谷力救，結果他隻受到薄懲。陳循和王文陷害考官劉俨、黃谏，皇上命禮部和高谷複閱試卷。高谷極力說劉俨等人無私，并說：“權貴子弟與寒士競争，本已不可，何況他們不安義命，想因此而陷害考官呢？”皇上于是賜陳循、王文的兒子考中，隻黜退了林挺一人，這事得以過去了。
英宗複位後，陳循、王文等人都被責備斥出，高谷也因病辭職。英宗覺得高谷是長者，對廷臣說：“高谷在内閣時，議迎駕之禮和南宮之事，曾對朕有幫助。賜給他金帛襲衣，派給驿船送他回去。”不久又賜給敕書獎勵。
高谷辭職之後，杜門謝絕賓客。有人問到景泰、天順年間的事，他總是不回答。天順四年(1460)正月，去世，終年七十歲。
高谷身材英俊，喜歡樸素，雖然官當到台司之職，但家中僅是破屋瘠田而已。成化初年，贈予他太保，谥文義。