1939年1至2月間，日軍在對冀南抗日根據地進行大“掃蕩”的同時，即開始了對晉冀豫抗日根據地大“掃蕩”的準備，由正太、同蒲路沿線出動，先後侵占和順、遼縣、翼城、浮山，安澤等城鎮。
4月初，占領平遙以南的王和以及白晉公路線上的南關。
1939年7月初，日華北方面軍抽調其第20、第109師團主力和第10、第35、第36，第108師團及獨立混成第4旅團各一部，共5萬餘人，由第1軍司令官梅津美治郎指揮，對晉冀豫抗日根據地太行山區進行大規模“掃蕩”，企圖首先打通白晉、邯長、平（定）遼（縣）等公路，占領主要城鎮，分割抗日根據地，爾後逐步壓縮圍殲八路軍第129師部隊，摧毀抗日根據地。
八路軍總部和第129師根據日軍兵力較大，可能長期占據抗日根據地内的部分城鎮與交通線，并把抗日根據地分割成若幹小塊，爾後逐一“清剿”，并加以摧毀的情況判斷，決定将廣大地方武裝和民兵遊擊隊以分散的持久的遊擊戰疲憊消耗日軍，主力則适當集中，相機殲敵，粉碎日軍的“掃蕩”，打破其分割計劃。
據此，第129師并奉命指揮第115師第344旅，晉豫邊支隊和山西青年抗敵決死隊第1、第3縱隊及廣大地方武裝、民兵遊擊隊展開了反“掃蕩”作戰。
從7月3日起，同蒲，正太、平漢、道清等鐵路沿線之日軍，先後出動，向晉冀豫抗日根據地進犯，其主力沿白晉、平遼、邯長等交通線向遼縣、沁縣、長治等地推進，企圖合擊第129師主力于遼縣，榆社、武鄉地區，另一部則向陽城，晉城進攻，企圖合擊太行山南部地區的八路軍部隊。
此時，晉冀豫抗日根據地軍民已完成了反“掃蕩”的準備，破壞了日軍可能利用的城牆圍寨、道路，進行了空舍清野，準備與日軍作長期艱苦的鬥争，當日軍由各交通線出動“掃蕩”時，北線八路軍即對正太、平漢、同蒲等鐵路展開破襲戰，并以小部隊配合民兵遊擊隊伏擊、阻擊消耗疲憊日軍，主力集結于武鄉西北及遼縣西南地區待機。
7月6日，日軍第109師團、獨立混成第4旅團各一部占領沁縣、武鄉、遼縣等縣城後，分路向榆杜地區合擊。
當日軍第109師團第107聯隊進至榆社以西雲簇鎮時，第129師第386旅即向其展開攻擊，殲滅日軍180餘人，迫其回撤。
與此同時，日軍獨立混成第4旅團第13大隊于11日在遼縣以西石匣村遭第129師第385旅主力伏擊，日軍斃傷300餘人，由武安沿邯長路西犯之日軍，在涉縣城西之河南店遭第129師特務團打擊，暫緩西進。
日