東面和南面調集兵力，企圖實施反擊，恢複防禦。
見敵東、南兩面兵力空虛，吳瑞林遂令特務團和教導2旅4團兩個營從東、南兩面架雲梯攻城。
兩部登上城後，迅速向縱深挺進。
戰鬥進行得相當慘烈。
這是較勁的時候絕不能後退，吳瑞林與團的指揮員商量後，決定将特别預備隊投入交戰。
這支預備隊由30名經過認真挑選的大漢組成，他們每人配有1把匣子槍、100發子彈和一柄7尺長帶鈎的長矛，用以專門對付敵四五尺長的關公式大刀，同時殺死敵人後還可以把敵屍體拖過來。
就這樣攻城部隊與敵一個堡一個堡地争，一條街一條街地奪，經過十餘個小時的槍戰和肉搏，終于全殲皇協軍主力敢死隊，并包圍了北門城樓和西門城樓。
城樓上的敵軍見大勢已去，紛紛繳械投降。
與此同時，11團3營攻占了城内天主教堂。
至此4個城門均為攻城部隊控制，勝利在即，吳瑞林接通電話，向羅榮桓彙報了攻城進展情況。
“好啊，打得好呵，祝賀全體攻城指戰員同志們取得的勝利，祝他們繼續奮勇前進，徹底消滅一切頑抗的敵人！”羅榮桓高興地說。
之後羅榮桓又嚴肅地說，“同時，所有攻城部隊都不得傷害城内人民，不允許對城内商店和資本家有任何侵犯行為，違者要按紀律論處！”
放下電話後，吳瑞林命令道：“立即把羅司令員的命令傳達到每一個指戰員。
”
5路大軍攻入城後，經過十餘個小時的激戰，于9月11日全殲守敵。
活捉漢奸許蘭生和邵子厚。
臨沂城解放了。
戰後，攻城部隊舉行了盛大的入城式。
鳴禮炮10響。
至此曆時近一個月的臨沂戰鬥勝利結束，為了這一勝利，英勇的八路軍付出了3000人的傷亡代價。
臨沂解放後不久，山東分局、山東省政府和山東軍區指揮機關于8月20日進城，後來華中局和新四軍軍部也進駐該城。
臨沂成為中國共産黨和人民軍隊在山東乃至華中地區的指揮中心。