高遵裕，字公綽，是忠武軍節度使高瓊的孫子。
因父親的恩蔭曆遷供備庫副使、鎮戎軍駐泊都監。
夏人入侵大順城，李諒祚中箭逃走。
恰好英宗去世，派高遵裕向西夏告哀，到達宥州祖廟，夏人派王盥接待，王盥穿着吉服來，高遵裕嚴辭譴責他，他才換去吉服。
不久在客館擺上酒席，席間談到大順城的事，王盥說：“你們是剽掠之徒。
”高遵裕說：“你們的主上侵犯我們邊境，負傷而逃，你的話不太荒謬了嘛！”夏人認為受了侮辱，立即派人應對，但來人終席沒敢開口，王盥憤怒地說“：你蔑視我們夏國，我國城池雖小，也有十多萬兵馬，可以同你們在戰場上一試高低。
”高遵裕瞪着眼睛說“：我們主上有天賜的神武，你們别太張狂而去冒死。
”當時李諒祚在屏風後偷看，擺手制止王盥。
神宗聽說後贊揚高遵裕，提升他為保安軍知軍。
橫山豪傑想歸宋，皇上讓高遵裕告訴種谔謀取他們，種谔就攻取綏州。
統帥因種谔擅自發兵而憤怒，想要對種谔處以軍法，種谔恐懼，說是在高遵裕那得到的皇上密旨，因此種谔獲罪，高遵裕也降為乾州都監。
高遵裕升任通事舍人，主管西路羌部，駐在古渭寨，把他所部的羌兵分成三等，教他們學習軍法。
熙甯初年，朝廷用王韶收複洮、隴二州，命令王韶為秦鳳路沿邊安撫，高遵裕為副安撫。
不久把古渭寨作為通遠軍，任命高遵裕為知軍。
第二年，他拿着歸附的羌部的圖籍和繪制的青唐、武勝的地形圖入朝獻給皇上，他被提升為引進副使、帶禦器械，讓他回來治軍。
大軍臨時駐在慶平堡，晚上行軍，早晨到野人關，羌人阻拒，高遵裕率親兵一鼓作氣打敗敵人，在武勝城下安營，羌人逃走，就占據了武勝城。
皇上下诏以武勝城為鎮洮軍，由高遵裕任知軍。
不久，以熙、河、洮、岷、通遠為一路，高遵裕升任西上..門使、榮州刺史、充任總管，仍為通遠軍知軍。
第二年，王韶想攻取河州，高遵裕說“：古渭寨舉事時，是先建堡寨，循序漸進，故此一