即遭到第31師的反擊。
26日淩晨再向濑谷啟求援。
濑谷啟再派第63聯隊長福榮真平率第3大隊赴台兒莊。
27日，日軍向台兒莊發起2次猛攻，占領城牆東北角，一部突入城内，與第31師反擊部隊展開激烈巷戰。
突人日軍被壓迫于城内大廟附近。
但第31師損失極大，4天激戰，傷亡2800餘人。
為利于戰鬥，池峰城将全師縮編為7個戰鬥營。
當晚17時許，福榮真平率日援軍到達台兒莊附近，台兒莊形勢更趨嚴峻。
李宗仁根據台兒莊戰情緊急而第20軍團主力仍未進攻棗、峄的情況，令湯恩伯“放棄攻擊峄縣、棗莊之計劃，速以一部監視當面之敵，以主力向南轉進，先殲滅台兒莊之敵”。
孫連仲也直接緻電湯恩伯，請其“全力攻擊敵之側背，支援台兒莊戰鬥”。
湯恩伯即令第52軍星夜南下，夾擊日軍。
28日，日軍集中兵力，在30餘輛戰車引導下，與前日突入城中之日軍協同，對台兒莊發動猛攻。
第2集團軍除以第31師據守台兒莊陣地抗擊外，令第27、第30師及獨立44旅從東、西向日軍側翼及後方反擊。
空軍也首次以9架戰鬥機直接支援守軍戰鬥，對士氣鼓舞很大。
進攻日軍占領西北角後即被阻，但突入城中的日軍卻乘機擴大戰果。
第31師将所有能夠戰鬥的勤雜人員全部組織起來投入戰鬥，展開肉搏拉鋸戰，隔牆相擊，逐屋争奪，陣地成犬牙交錯狀态。
29日，日軍第2軍司令官西尾壽造見第63聯隊攻擊受阻，而中國軍隊第20軍團正向南進，第63聯隊有被圍殲危險，遂令第5師團坂本支隊暫停攻擊臨沂，急向台兒莊方面增援。
同時，令第10師團濑谷支隊主力增援台兒莊前線。
李宗仁見第20軍團遲遲未至，28、29兩日，連續下令催其“迅速南下夾擊”。
30日晨，濑谷啟率第10聯隊及戰車隊從峄縣南下，21時到達台兒以西、以北。
李宗仁再次電令湯恩伯，“限31日拂曉到達”。
台兒莊内日軍得知濑谷支隊主力來援，全力向外擴張，推進至城南運河北岸。
孫連仲派第30師第176團入城增援，與第31師協同，據守西半城陣地，拼死血戰，遏止了日軍的擴張勢頭。
31日，日軍雖極力攻擊，仍無進展。
第10師團長矶谷廉介又調該師團駐濟甯的第39聯隊1個大隊配屬第10聯隊，加強其攻擊能力。
30日夜，第20軍團先頭部隊到達甘露寺附近。
31日，向獐城以東日軍進攻，占領蘭成店三佛樓等地，中午前後，擔任側背警戒的騎兵團與由臨沂西進的坂本支隊發生戰鬥。
第85軍第89師前往應援，在邵家莊附近被擊退。
湯恩伯急調第4師至向城阻擊，力避免被日軍東西夾擊，決心把所有兵力“一律由内線轉為外線”，放棄對獐山的攻擊，“乘夜與敵脫離”，撤至洪山鎮以東地區。
4月1日，第52軍與闆本支隊激戰于蘭陵鎮以北。
孫連仲為殲滅台兒莊内日軍，決定由城外向日軍占領的街區夜襲。
令第27師挑選250人為奮勇隊，另以1個營為後繼，同時令第31師配合第27師夜襲部隊向占領城西北角之敵進攻。
4月1日夜，第27師奮勇隊及第157團第2營由台兒莊東北角突入城中，攻占東北隅及東南門，與日軍巷戰，第30師第175團第3營向西北城角日軍進攻，經激烈肉搏，将其擊退，并殲其一部。
4月2日，因第20軍團放棄對獐山的進攻，日軍第10聯隊遂南進至台兒莊以東地區，10時30分向第27師彭村，陶溝橋等處陣地進攻，戰鬥至19時，第27師後撤至邊莊、火石埠之線。
日坂本支隊此時亦進至陳瓦房、耿莊一帶，與第10聯隊取得聯系，其留置後方擔任掩護的部隊，被第52軍第25師殲滅于劉莊。
由于日軍第10聯隊及坂本支隊均向台兒莊以東前進，李宗仁急将剛至碾莊一帶之第75軍轉至岔河鎮地區，将由臨沂調來之第57軍第111師第333旅，進至魯坊，均歸第20軍團長湯恩伯指揮，決心集中兵力，将台兒莊附近日軍圍殲于鄒縣、台兒莊之間。
4月3日，台兒莊城内和城外日軍，繼續與第31師及第27師部隊血戰。
日軍雖在火力上占絕對優勢，但在第2集團軍等的英勇抗擊下，進展極微。
日軍對中國軍隊不怕犧牲的愛國主義精神，極為驚佩。
日軍第10聯隊4月2日的戰鬥詳報說：“對中國軍隊第27師第80旅昨日以來的戰鬥加以檢讨……他們據守散兵壕，全部頑強抵抗直至最後。
他們在狹窄的散兵壕内，重疊相枕，力戰而死之狀，雖為敵人，觀其壯烈之态，亦為之感歎。
戰鬥中曾使翻譯勸其投降，但無一應者。
戰至屍山血海的精神，并非獨為我軍所特有。
無視他人，自我陶醉，為我軍計，對此應有所懼戒。
”
4月4日，濑谷啟發現中國軍隊有向其翼側及後方包圍的征候，急令第10聯隊主力向台兒莊以北集結，留約1個中隊與台兒莊城内日軍呼應。
日坂本支隊，進攻受挫，被第75不及第85軍包圍于大顧珊、火石埠一帶。
4月5日，坂本支隊與後方的聯系已全為第20軍團切斷，彈藥、糧秣暫由濑谷支隊補給，戰鬥已陷于困境。
當晚19時川分，緻電濑谷啟，告知準備于6日開始退回臨沂。
此時，濑谷支隊對台兒莊的攻擊亦處于被動地位，留置黃林莊的1個中隊已被第27師擊退。
軍委會因第20軍團迄今未按命令對進攻台兒莊的日軍進行側擊，緻台兒莊形勢日趨危急，蔣介石于4月5日12時緻電湯恩伯；“台兒莊附近會戰，我以10師之衆對師半之敵，曆時旬餘未獲戰果，該軍團居敵側背，态勢尤為有利，攻擊竟不奏效，其将何以自解？急應嚴督所部于六、七兩日奮勉圖功，殲滅此敵，勿負厚望。
”湯恩伯接電後，積極部署進攻。
4月6日晨，第20軍團第52軍逼近日濑谷支隊部所在之楊廟附近，第58軍及第75軍将闆本支隊包圍于邢家樓、大顧珊。
濑谷啟決定退卻。
在究州的矶谷廉介電令濑谷啟，不準其後退。
但濑谷啟怕被全殲，抗命撤退。
由于退逃倉促，又在中國軍隊進攻之下，所以，彈藥，被服、糧秣及戰死者的屍體，均不及帶走，全部放火焚毀，有些重型機械化武器，也因彈盡油竭，被迫破壞遺棄，僅台兒莊附近，即有155重炮2門及履帶牽引車4輛，坦克8輛遺棄于戰場。
台兒莊城内日軍與第31師隔牆相接，鄰屋而戰，當然不可能安全撤走，在密集手榴彈封鎖下，相當一部分在最後一刻被殲。
7日淩晨，台兒莊城内日軍全被肅清，濑谷支隊退至官莊。
闆本支隊得知濑谷支隊北逃，亦于當夜在火力追擊下撤逃。
本欲返回臨沂，因第20軍團主力均在東北方向，無力突圍，遂改向西北敗逃，向第10師團靠攏。
李宗仁于7日13時