人、農民和青年學生為基礎組成晉豫邊遊擊支隊，司令員唐天際，該支隊1500人，活動在同蒲鐵路以東、曲（沃）高（平）公路以南、高（平）博（愛）公路以西、黃河以北的中條山地區。
八路軍第129師各工作團和部隊，到達活動地區後，依靠中共地方組織，大力宣傳抗日救國十大綱領和共産黨的各項方針政策，放手發動群衆，組織各種抗日團體和群衆武裝，開展遊擊戰争，實行合理負擔政策，既擴大了部隊，又在太谷、榆次、壽陽、平定、井陉、獲鹿、昔陽、元氏、贊皇、高邑、臨城、内丘、邢台、沙河、磁縣等地，建立了一批抗日民主政權。
至此，同蒲鐵路以東、正太鐵路以南、平漢鐵路以西、黃河以北的晉冀豫邊區的遊擊戰争全面展開，抗日根據地基本形成。
4月下旬，晉冀豫軍區成立，該軍區對外稱第129師後方司令部，師參謀長倪志亮兼司令員，政治委員黃鎮，副司令員王樹聲，政治部主任賴際發。
5月15日，按遊擊支隊活動的地區和方向，建立5個軍分區：獨立支隊兼第1軍分區，司令員秦基偉，政治委員賴際發，政治部主任朱效成，轄區為晉中地區；遊擊支隊兼第2軍分區，司令員桂幹生，政治委員張贻祥，轄區為冀晉邊地區；先遣支隊兼第3軍分區，司令員張賢約，政治委員張南生，轄區為冀豫邊地區；遊擊大隊兼第4軍分區，司令員張國傳，政治委員謝家慶，并指揮太嶽遊擊大隊，轄區為濁漳河流域地區；獨立遊擊支隊兼第5軍分區，司令員趙基梅，政治委員塗錫道，轄區為太（行山）南（部）地區。
晉冀豫軍區的任務是：一方面組織自衛隊、遊擊隊，補充兵員，安置傷病員，積蓄武裝力量；另一方面指揮基幹武裝部隊，獨立作戰或配合正規部隊作戰。