吳玠字晉卿，德順軍隴幹人。
由于父親死後葬在水洛城，因此遷徙到該地。
年少時即深沉果敢有節操志向，知曉軍事善長騎馬射箭，讀書能精通大義。
不滿二十歲時，以良家子的身份投軍隸屬泾原軍。
政和年間，西夏軍隊侵犯邊境，吳玠因功補為進義副尉，不久擢升為隊将。
随從讨伐方臘，攻破方臘部隊；等到攻打河北盜賊時，因多次立功任泾原第十将。
靖康初年，西夏軍隊進攻懷德軍，吳玠率一百多名騎兵追擊，斬殺夏軍一百四十人，擢升為第二副将。
建炎二年(1128)春天，金軍渡過黃河，出大慶關，寇略秦雍，企圖直撲泾原。
都統制曲端守衛麻務鎮，命令吳玠為前鋒，進據青溪嶺，迎擊并大敗金軍，追擊逃奔的敵人三十裡，金軍開始感到害怕。
被任命為泾原路兵馬都監兼知懷德軍。
金軍攻打延安府，經略使王庶命令曲端進兵，曲端駐于玠州沒有前去，并且說：“不如掃蕩金軍巢穴，攻敵必救之處。
”曲端于是攻打蒲城，命令吳玠攻打華州，攻占華州。
建炎三年(1129)冬天，一股勢力龐大的盜賊史斌進犯漢中，沒有攻克，打算率部攻取長安，曲端命令吳玠攻打斬殺史斌，升為忠州刺史。
宣撫處置使張浚巡視關陝，參議軍事劉子羽稱贊吳玠兄弟才能勇氣，張浚同吳玠交談，大喜，當即任命吳玠為統制，他的弟弟吳王玠掌管帳前親兵。
建炎四年(1130)春天，吳玠升任泾原路馬步軍副總管。
金将婁宿和撒離喝率部長驅入關，曲端派遣吳玠在彭原抵禦，而自率兵至玠州作為援兵。
金軍前來進攻，吳玠将敵人擊敗，撒離喝由于害怕而哭泣不止，金軍之中把他看成“啼哭郎君”。
金朝重整軍馬再戰，吳玠軍失敗。
曲端退兵屯駐泾原，彈劾吳玠不聽指揮，被降為武顯大夫，罷免總管職務，又任知懷德軍。
張浚愛惜吳玠才能，不久讓他擔任秦鳳路副總管和兼知鳳翔府。
當時正是戰亂之後，吳玠慰問前來歸附的兵士和安撫聚集的民衆，民衆依賴他得到安甯，轉任忠州防禦使。
九月，張浚會合五路大軍，準備同金軍決戰，吳玠建議應該把守各個要害地區，等到敵軍困敝時乘機出擊。
軍隊到達富平時，都統制又會合衆将商議決戰，吳玠說“：軍隊因為有利才行動，現在地勢對我不利，沒有看到可以決戰的理由。
應該選擇高山占據，使敵人難以戰