鳳陽、蚌埠進攻，華北方面軍自1937年底以來，多次提出進行徐州作戰，以使華北與華中連結起來的要求。
大本營怕“戰局擴大，兵力被牽制”，不予批準。
但第2軍仍然下達了向大運河進攻的命令，企圖以既成事實迫使大本營承認他們的行動。
至1938年2月上旬，南線日軍攻占巢縣、蚌埠，企圖北渡淮河；北線日軍攻占青島、鄒縣，在諸城，兩下店附近，與中國軍隊激戰。
此時，中國軍隊第21集團軍也由江南轉移至合肥地區，加入第五戰區戰鬥序列。
第五戰區依照軍委會南守北攻的指示，于2月3日下達作戰命令。
主要内容為：決心将津浦路南段之敵，拒止于淮河以南，由側方連續予以打擊；同時鞏固魯南山地。
對津浦路北段及隴海路東段之敵，實施側擊，牽制其南下或西上，以拱衛徐州。
令于學忠指揮第51、第31軍力第2野戰兵團，于淮河北岸布防，阻敵北進；令第11集團軍為第1野戰兵團，位于定遠西方三十裡鋪至淮河南岸之間，向臨淮、蚌埠之敵側背威脅，牽制其渡河；令第21集團軍為第4野戰兵團，在合肥、張橋鎮一帶集結後，向含山、全椒前進，側擊津浦路南段之敵；令第27集團軍及安徽保安3、4團為第3野戰兵團，由楊森指揮，位于安慶以東，任江面守備，并在安慶、廬江、無錫間地區遊擊，1月6日，又下達補充命令，令第3集團軍以主力向濟甯攻擊，以一部迂回攻擊汶上；令第22軍集團軍以主力向鄒縣，一部迂回曲阜鄒縣間攻擊，另一部控置于臨城、韓莊間；令第3軍團在臨沂附近，配合地方部隊，奪取蒙陰、泗水，爾後向泰安、大汶口間及南驿，曲阜間威脅。
對日照、呂縣、沂水北方要點，派一部與海軍陸戰隊聯合扼守。
日軍第13師團于2月3日占領蚌埠後，不斷實施強渡，企圖渡過淮河，均被剛剛到達的第51軍擊退。
2月8日，蚌埠日軍約1000餘人，在航空兵及炮兵進行火力急襲後，再次強渡淮河，守軍英勇抗擊，兩次擊退日軍渡河部隊。
當晚23時，日軍又進行夜間強渡，攻占北岸小蚌埠。
第113師派部反擊，激戰至9日1時，恢複了陣地。
10日拂曉，日軍又一次發動強渡進攻，10時前後攻占小蚌埠。
第113師全力反擊。
雙方多次反複争奪，終于為日軍占領。
蚌埠日軍發起進攻的同時，臨淮關日軍也發動強渡進攻，突破北岸守軍第114師的陣地。
激戰至11日，第114師傷亡2000餘人，被迫撤至沫河口、年家廟之線。
沿岸陣地多處被日軍突破，許多部隊因軍官陣亡失去指揮，為集中力量、整頓部隊，于學忠于11日夜令全軍向淝河附近之何集、新馬橋之線轉移，2月13日，李宗仁将剛剛轉隸第五戰區的張自忠之第59軍調至固鎮，接替第51軍防務。
第51軍撤至西寺坡車站附近休整。
此時，日軍第13師團主力已大部進至淮河以北。
李宗仁第31軍由淮南鐵路向鳳陽，第21集團軍向明光、定遠，實施側擊。
日軍被迫将淮河以北的主力撤回淮河以南。
張自忠乘勢于15日向小蚌埠日軍發起進攻，收複小蚌埠，淮河以北日軍全部撤至淮河以南。
2月17日後，津浦路北段形勢趨緊。
李宗仁調張自忠軍去臨城，津浦路南段正面仍由第51軍防守，與日軍第13師團隔河對峙。
當第51軍與日軍第13師在淮河激戰時，第3集團軍遵照第五戰區的命令，于12日開始向濟甯、汶上日軍進攻。
孫桐萱令第55軍由金鄉向濟甯南關日軍進攻，第12軍第22師由定陶迂回向濟甯北城門進攻，第81師由曹縣向汶上進攻。
第55軍軍長曹福林僅派出第171、第439團各一部渡運河向濟甯火車站及西關進行襲擾，并未以主力實施攻擊，不久即為日軍擊退。
谷良民之第22師第64旅于12日22時在2門山炮支援下，強攻濟甯北城牆。
由于炮火未能摧毀北門城樓日軍火力點，攀城部隊傷亡甚衆。
後在西北城角轟坍一段城牆，由缺口突入約4個連。
南關日軍第10師團第8旅團第39聯隊主力未遭有力攻擊，得以調入城中增援。
先以反沖擊控制了城西北角缺口，切斷城内、外中國軍隊之聯系，爾後，向突入城中的部隊發起圍攻。
雙方展開激烈的肉搏戰。
突入部隊孤軍奮戰，彈藥、人員均得不到補充，血戰一晝夜，到14日拂曉，全部壯烈犧牲。
城北第64旅殘部退至運河西岸。
展書堂之第81師曾一度攻人汶上北關，第64旅撤退後，亦主動撤至開河鎮，沿運河防守。
第3集團軍進攻濟甯時，第22集團軍孫震亦令第125師第737旅由界河進攻兩下店，令第127師第575團挺進至鄒縣、曲阜向進行敵後遊擊。
2月14日、16日，第737旅兩次襲擊兩下店均被擊退，在日軍反擊下，17日退至香城、普陽山一線。
第575團在曲阜南小雪村一蒂，于14日伏擊日軍汽車4輛，擊死日軍第10師團少将軍官1名。
第3軍團到達臨沂時，日軍第5師團已占領蒙陰、沂水、濰縣、青島。
2月17日，其第21旅團（坂本支隊）由濰縣進攻莒縣。
龐炳勳派第115旅支援，莒縣已失，在日軍進攻下，退至白塔，與占領湯頭之日軍暫時形成對峙。
侵華日軍雖在南北兩線的淮河及魯南等地遭到中國軍隊的堅強阻擊與反擊，受到一些挫折，但仍迷信于上海的勝利和山東，南京的輕易占領，錯誤地判斷戰争的發展趨勢，認為在國際上，“由于德國承認滿洲國”，英國“修訂了對外政策，在歐洲接近德、意而自求安定，在遠東緩和支持中國政權的态度，采取保持本國權益第一主義”，“國際形勢大同正朝着我有利的方向發展”，特别足低估了中華民族的抗戰決心。
認為“中國的一般政局是逐漸喪失長期抗戰的自信，外則失去各國的支持，内則出現各種内政問題，現正踏上崩潰之途”；對于中國軍隊，偏面、盲目地認為，“在此次事變中，中國軍隊受到的損失，僅在華中方面就有40餘萬，連同華北方面合計約為80萬左右；蔣介石多年苦心訓練的占中央軍大部約六七個師，在華中方面受到徹底打擊，大部已喪失戰鬥能力”。
因而，不同意日本大本營暫時“不擴大”方針，尤其是“華北方面軍司令官寺内壽一大将，對中央意圖不滿”，堅持他“使華北、華中聯接起來，進行徐州作戰”的主張，積極支持其第2軍向南入侵的企圖。
大本營中主張立即擴大侵略戰争的要員，也開始占居主尋地位。
3月13日下達正式命令、命“第10師團擊滅大運河以北之敵，第5師團以一部占領沂州（臨沂）後，進入峰縣附近，配合第10師團作戰”。
3月14日拂曉，日軍第10師團之濑谷支隊（第33旅團為基于，轄2個步兵聯隊，約3個炮兵聯隊及輕戰車2個中隊等