僞軍吳化文被打跑後，魯中根據地面積擴大了1000多平方公裡，使沂、魯、泰、蒙四大山區連成了一片。
随後，山東軍區司令部為完成逐步向北擴展任務，由參謀處長李作鵬提出了夏季攻勢計劃：“魯南軍區拟于7月中旬配合湖西部隊和新四軍攻擊周侗、申從周兩股僞軍，控制湖東地區，打通魯南與湖西的聯系。
渤海軍區正在加緊策動豐城僞軍王道部起義，并拟于8月中旬攻克利津城。
濱海軍區拟于7月下旬攻擊僞軍李永平部。
魯中軍區拟于8月下旬攻克沂水縣城。
”
羅榮桓接着說：“夏天攻勢的重點是攻克沂水城，告訴王建安他們要嚴密組織，精心部署，我軍首次攻打設防堅固的城市要多動腦筋，總的方針是以小的代價，奪取大的勝利。
”
1944年的夏天雨水很大，沂河裡的水一天天漲起來，巨浪翻滾，濤聲驚岸。
為了進一步靠近沂水城，魯中軍區的八路軍在這個多雨的夏季發起了新的攻勢，于1944年6月11日，先在臨朐南部地區攻克了大關、小關、蔣峪3個日、僞據點，切斷了敵臨朐至沂水公路的交通線。
12日以後，八路軍又在蒙陰南部、費縣以北地區作戰，消滅了僞第3方面軍1旅的王立慶部1100餘人，摧毀了日僞環繞蒙山的封鎖線。
接着，在沂水城南，八路軍部隊攻克了大虎頭、孟家圍子、袁家城子3個日、僞據點，切斷了敵沂水至臨沂的公路。
這樣，沂水城的北、南、西三面均暴露在八路軍的威脅之下，城中守敵立即陷入了孤立狀态。
沂水城是魯中地區的重鎮，也是沂蒙山區的腹地。
它東靠蒼松翠柏的山嶺，西臨咆哮奔騰的沂水河。
這裡交通方便，是沂水至青州、沂水至臨沂、沂水至博山、沂水至蒙陰、沂水至莒縣5條公路的連接點，東達黃海之濱，西通沂蒙山區，南抵魯南重鎮臨沂，北接膠濟鐵路上的青州市，曆來都是兵家必争之地。
自1939年日軍侵占沂水城以來，他們為了控制和鞏固這一戰略要地，苦心經營，構築工事，修建飛機場，加固了城防設施。
城内守敵，為僞縣長牛先元部的8個中隊，共1000餘人。
城的南關，則由1個日軍中隊據守，建有3米高的堅固圍牆，圍牆内的東北、西北、東南、西南角和中心都建有碉堡，高高矗立。
沂水城四周，也安置了小據點，西有黃山鋪、崖莊、龍山，南有斜午，西北有武家窪，東北有鳳凰頭，東南有滿堂坡、四十裡鋪等。
每個據點都有僞軍把守，和沂水城中之敵遙相呼應，形成了一個牢