楊存中本名沂中，字正甫，紹興年間高宗賜名存中，代州崞縣人。
祖父楊宗闵，曾任永興軍路總管，與唐重一同守衛永興，金軍攻陷城池，迎敵戰死。
父親楊震，曾知麟州建甯寨，金軍來攻，也死于難。
楊存中身材魁梧，性情沉鸷，少時機敏，背書數百言，力氣超人。
慨然對人說“：大丈夫應當用武功博取富貴，怎能俯首貼耳成為腐儒呢！”于是學習孫武、吳起兵法，善于騎射。
宣和末年，山東、河北地區群盜四起，楊存中應募從軍擊賊，積功至忠翊郎。
靖康元年(1126)，金軍再次圍攻汴京，各道軍隊勤王，楊存中與張俊、田師中随從信德府守将梁揚祖率萬兵入援，後來成為張俊部屬。
皇上向張俊詢問将領，張俊以楊存中答對。
皇上召見楊存中，賜給袍帶。
當時元帥府正值草創之時，楊存中晝夜護衛皇上寝帳，沒有片刻離開旁邊。
皇上知道他忠誠謹慎，親近信任他。
一股勢力強大的盜賊李昱占據任城，官軍久攻不下，楊存中率領數名騎兵沖入賊陣，擊殺數百人。
高宗登高望見，楊存中甲胄全部變成紅色，以為他受了重傷。
召他前來觀看，原來都是賊血污染，激勵他，賜他飲酒，說：“飲此血酒。
”楊存中請求再往，高宗阻止他。
楊存中說“：這些盜賊已經破膽，就要被擒拿了。
”于是大破盜賊，收複任城，遷任..門祗候。
建炎二年(1128)，楊存中在嘉興征讨賊寇徐明，率先登上城牆。
主将準備屠城，楊存中極力勸阻他，殺掉罪魁禍首而已，嘉興賴以保全。
遷任榮州刺史。
高宗渡過長江，楊存中率勝捷軍随從張俊守衛吳門；苗、劉叛變時，又随從張俊前往解救危難。
遷貴州團練使，不久任禦前右軍統領。
金軍攻明州，又随從張俊與田師中、趙密一起殊死搏鬥，擊敗金軍。
因立下大功遷任文州防禦使、禦前中軍統制。
紹興元年(1131)，随從張俊讨伐李成。
從将計議，大多主張分道前進，楊存中說“：敵勢如此，分兵力量就會削弱，加上諸将職位相同，沒有招讨使督促，必然不能互相協同。
”張俊采納了他的意見。
整軍到豫章，楊存中率兵數千人，首先在玉隆觀擊敗敵衆，追到筠州。
敵人骁将率衆十萬前來支援，夾河而陣。
楊存中對張俊說：“敵衆我寡，攻擊敵人應使用奇兵，願意率騎隸屬，公以步兵居前。
”張俊聽從了他的意見。
楊存中夜裡銜枚渡筠河，出西山，急馳而下攻擊敵人，張俊以步兵夾攻，俘敵八千人。
衆将夜見楊存中說“：戰鬥沒有停止，降卒太多，突然發生叛亂，怎麼辦？非将他們全部殲滅不可。
”楊存中說“：我不忍殺死投降