于新鄭下令，命軍主力從平漢路向西進行右回旋，圍殲在登封一帶的第一戰區主力湯恩伯集團，第37師團以一部歸第27師團指揮，繼續南下，進攻郾域。
俟與武漢北上接應的部隊會合後，第27師團即轉隸第11軍。
第237師團及第37師團第227聯隊（配屬1個步兵大隊、1個山炮中隊）于5月）日夜由許昌南進，5月5日拂曉開始進攻。
當日下午，分别攻占漯河和郾域。
守軍第89軍新1師向東撤走。
武漢地區日軍第11軍根據中國派遣軍的命令，在日軍第12軍占領許昌時，派獨立步兵第11旅團長官下文雄率其7個大隊，于5月1日夜由信陽北上，2日至明港，3日拂曉至新安店。
由于防守确山一帶的第五戰區第68軍部隊不戰而走，日軍第11旅團于當日占領确山。
日軍第27師團先頭部隊僅受輕微抵抗，即于5月7日占領遂平，9日進至确山，與第11軍第11旅團會合。
平漢路南段被日軍打通。
當日軍第12軍南進時，駐于上海地區的日軍第13軍奉中國派遣軍之命，派第65師團長太田米雄率第71旅團和第64師團第69旅團，于4月25日開始，由風台，正陽關向穎上、阜陽進攻，以牽制位于平漢路以東的第15、第19集團軍，策應第12軍的作戰。
太田米雄恐孤軍深入被殲，在27日占領穎上後，即緩慢前進，至5月6日，9天時間僅前進約30公裡。
當日軍第27師團占領遂平，平漢路基本打通時，太田米雄于5月8日率所部返回原防。
5月2日，日軍第12軍主力開始。
對登封地區之湯恩伯集團進行包圍。
第110師團向登封、第62師團向禹城進攻，戰車第3師團、騎兵第4旅團及第37師團主力向郏縣，臨汝突進，獨立第7旅向襄城進攻。
湯恩伯集團各部隊戰鬥至5月4日，禹城、郏縣于3日失守，襄城、臨汝于4日失守。
日軍戰車第3師團之機動步兵第3聯隊及戰車第13聯隊一部，已突進至洛陽南方的龍門附近。
湯恩伯集團遂于5日向伏牛山區撤退。
為了策應第12軍作戰，華北方面軍令第1軍派第69師團長三浦忠次郎率其第59旅團5個步兵大隊及獨立混成第3旅團的3個大隊，于5月9日夜由垣曲渡黃河，攻略渑池，以阻止第八戰區部隊東援，為加強進攻洛陽的力量，還調防守北平的第63師團長野副昌德率所屬步兵第67旅團及3個獨立步兵大隊趕至鄭州，指揮獨立第9旅團及第12野戰補充隊參加進攻洛陽。
5月10日，岡村甯次下達命令、令“第12軍以一部兵力殲滅臨汝西南和嵩縣方面的重慶軍，同時以主力迅速向宜陽、新安挺進，進入洛陽西方；第1軍應迅速向洛陽方面推進；第63師團擊潰洛陽以北重慶軍後，向新安挺進。
以上東、西、南互相呼應，圍殲第一戰區軍，進而攻占洛陽”。
日軍第1軍于11日攻占英豪車站，12日占渑地。
守軍第47軍撤向盧氏。
宜陽地區的劉勘兵團在日軍圍攻下，亦于13日向西南撤退。
在日軍第12軍實施追擊時，華北方面軍于14日令第63師團進攻洛陽。
5月18日晚，第63師團開始進攻。
雖有大量炮兵和飛機的火力支援，但在守軍堅強抗擊下，激戰至19日上午，仍無進展。
當日中午，又增派戰車第13聯隊和第110師團2個大隊投入戰鬥，依然毫無進展，而且傷亡甚大。
岡村甯次決定令第12軍指揮第63師團全力進攻洛陽。
24日13時，日軍發起總攻。
守軍彈藥殆盡，艱苦支持至22時，日軍戰車已突入城内，遂由東南角徒涉洛陽河突圍撤走。
25日洛陽失守。
豫南會戰基本結束。
雖然湯恩伯集團撤退迅速，未被口軍圍殲，緻日軍的戰役企圖未能全部實現，但以數十萬之衆，據經營數年之久的國防陣地，僅作戰30餘天即喪失城市38座，損失兵力十餘萬，使日軍輕而易早地打通了平漢路南段，不能不說是抗戰意志衰退和保存實力思想造成的惡果。
1944年春，武漢地區日軍第11軍共有8個師團、1個旅團。
為了進行長沙、衡陽會戰以打通粵漢路北段，日本大本營除将參加豫南會戰的關東軍第27師團、戰車第3聯隊和炮兵4個大隊轉隸第11軍外，還為其組建了第1、第2、第5、第9、第10、第11野戰補充隊（相當旅團）；日中國派遣軍又将第64師團和獨立步兵第5、第7、第11、第12旅團調至武漢。
1944年5月9日，将留于武漢守備的第39師團、獨立混成第17旅團及獨立步兵第5、第7、第11、第12旅團等部隊編為武漢防衛軍。
第11軍司令官橫山勇率8個多師團及配屬的炮兵、戰車部隊共36.2萬人、軍馬6.7萬匹、火炮1282門、戰車103輛、汽車9490輛，以長沙、衡陽為目标，準備發動打通大陸交通線的第二階段的進攻作戰。
另有第5航空軍第1飛行團（6個飛行戰隊，2個飛行中隊）約160架飛機支援作戰。
5月25日，洛陽失守的當天，日中國派遣軍總司令官煙俊六到達漢口，親自指揮這次會戰。
作戰開始前，将兵力區分為兩線：第一線5個師團，展開于華容、嶽陽、崇陽地區，第40師團在湘江東，第116、第68、第3、第13師團在湘江西；第二線3個師團，第34師團集結于蒲析附近，第58師團集結于監利附近，後續之第27師團集結于蒲圻以北鐵路沿線。
第九戰區當時主要作戰部隊有3個集團軍，10個軍。
會戰開始前後，軍委會又從第三、第六、第四戰區調來7個軍。
總計參加會戰的兵力為52個步兵師，約50餘萬人。
另外有中美空軍轟炸機6