軍軍部派參謀長張雲逸率軍部特務營抵江北無為地區，随即與國民黨豫鄂皖邊遊擊總司令廖磊建立了統戰關系，并将廬江、無為地區中共領導的遊擊隊統一整編為新四軍江北遊擊縱隊，擔負皖中地區的抗戰任務。
同時，以第4支隊第8團挺進淮南鐵路以東，與當地遊擊隊和東北軍挺進團取得聯系，共同在皖東開展遊擊戰争。
1939年初，大别山的國民黨桂系軍隊積極向皖東伸展，企圖把新四軍第4支隊擠出皖東地區。
在此形勢下，中共中央指示新四軍派員主持成立江北指揮部，統一指揮江北新四軍。
5月，葉挺軍長根據上述指示，親赴廬江東湯池，組織成立了新四軍江北指揮部，由張雲逸兼指揮。
接着，整編了部隊，由徐海東任第4支隊司令員，轄第7，第9、第14團；以第8團為基礎，成立新四軍第5支隊，由羅炳輝任司令員，郭述申任政治委員，轄第8、第10、第15團。
此後，第4、第5支隊分别在津浦路西、路東作戰。
經過2個多月，第4支隊開辟了以定遠東南的藕塘為中心的津浦路西根據地，第5支隊開辟了以半塔集為中心的津浦路東根據地。
新四軍在津浦路東，路西勝利地開展遊擊戰争，使日軍嚴重不安。
為此，日軍于1939年12月下旬，由南京、明光（今嘉山）、蚌埠等地出動2000餘人，“掃蕩”津浦路西藕塘以南之周家崗、大馬廠、古河等地，新四軍第4支隊與日軍進行了3天激烈戰鬥，殲敵160餘人，日軍被迫退回原防。
第4支隊乘勝收複周家崗、複興集、大馬廠、古河等地。
這次反“掃蕩”作戰的勝利，對鞏固和開展皖東敵後鬥争具有重要意義，至1940年3月，新四軍第4、第5支隊已由原來5000餘人發展到1萬餘人。
新四軍第4、第5支隊在皖東的發展，引起了國民黨頑固派的忌恨。
1940年3月，在蔣介石的策劃下，國民黨桂系軍隊李品仙部以其第138、第171師越過淮南路向東進逼，其先頭一部5000餘人分别圍攻合肥以北青龍廠一帶的新四軍第4支隊和定遠以南大橋地區新四軍江北指揮部，另以2個保安團向無為以西開城橋地區新四軍江北遊擊縱隊進攻，蘇北地區國民黨頑軍韓德勤部也積極配合，準備向津浦路東新四軍第5支隊進攻。
在此緊急時刻，中共中央、毛澤東于3月29日對反頑鬥争的策略問題作了指示，指出：華中武裝摩擦，應以惟河，淮南鐵路為界，在此線以西避免武裝沖突，在此線以東則應堅決控制在我手中，并首先反擊當地的頑固派，對桂系軍隊力求緩和；對韓德勤部在有理有利原則下，當其進攻我軍時，應堅決反擊之，根據上述指示，中共中央中原局一方面令江北指揮部作好應戰準備；一方面與李品仙部談判，提議以淮南鐵路力界，分區抗日，我不向西，彼不向東。
但李品仙部對此提議置之不理，繼續進逼。
中共中央中原局決定，集中主力于津浦路西，首先反擊當地頑固武裝，制止桂系頑軍東進，鞏固路西陣地，爾後揮戈東向，擊退津浦路東之韓頑