沂水城是鲁中山区重要县城之一,是沂青、沂临、沂蒙、沂博、沂莒5条公路的联结点,战略位置十分重要。1939年夏天,日本侵略军占领沂水城后,在南关单独建立了小围子。据点围墙高厚,墙外挖壕沟,中心和四角筑有坚固碉堡。日军在此常驻一个中队的兵力。在沂河西岸建有飞机场一处。城内另筑一大据点,内驻伪县公署知事兼保安大队长牛仙元的8个中队,共800余人。城四周,有黄山铺、匡庄、斜午、武家洼、凤凰头、满堂坡、四十里堡等外围据点。沂水城日军司令部成为沂水、莒县、蒙阴三县日军的指挥中心,成为日伪军对鲁中根据地历次“扫荡”的策划地和兵力集结地。

1944年初,敌人收缩兵力,沂水城及其周围的几个据点陷于孤立,收复沂水城的条件已具备。山东军区指示鲁中军区,把收复沂水城作为1944年夏季第二阶段作战的重要任务。

战斗打响前,鲁中军区进行了紧张的部署和准备。通过新泰煤矿工人筹集了千余斤攻坚用的炸药和与之配套的雷管、导火索。8月15日晚,参加收复沂水城作战的鲁中军区一团、四团,二军分区十一团,军区与军分区特务营,部分地方武装和支前民兵齐集城外。鲁中军区政委罗舜初、参谋处长胡奇才、政治部主任周赤萍及鲁中区党委副书记高克亭在城东安下了指挥所。

22时,战斗打响,各路部队同时发起进攻。担当攻坚任务的四团自城南发起攻击,直扑日军据点东南碉堡。爆破组越过6米宽的外壕,将炸药包放在碉堡下,随着一声巨响,东南碉堡被炸塌。突击队奋勇向前,通过白刃格斗将守敌全歼。16日1时许,日军据点西南碉堡又被炸飞,四团继续向其余3个碉堡进攻。敌除以强大火力阻止我军前进外,又施放大量窒息性毒气,我许多战士被熏倒。到天亮,四团暂停攻击。16日午后,四团一举攻占日军小围子内的东北碉堡。

负责消灭驻城伪军的一团、十一团、特务营,从北门、东门和西门攻入城内,肃清了县府门前街以北、东关街以东全部伪军。牛仙元退守据点内的两碉堡内待援。二团、十一团等部队不顾疲劳,连续攻击,同时施以政治攻势,伪军大部缴械投降。牛仙元率30余人逃跑,全部被我军活捉。至16日午后,城内伪军被全歼。沂水城周围的8个伪据点也全部被拔除。莒县之敌乘8辆汽车驰援沂水之敌,受到我二团的猛烈阻击,丢下6具尸体窜回莒县。

16日夜,四团向日军据点未克的西北和中心大碉堡发起最后攻击,先克西北碉堡。17 日天刚露明,爆破组将35公斤重的炸药包送到中心碉堡下,轰隆一声巨响,炮楼倒地。至此,历时一天两夜的收复沂水城战役胜利结束。

此役,击毙日本侵略军玉井小队长以下33人,俘虏20人。毙、伤、俘伪军1000余人,解放350多个村庄。战斗中八路军指战员牺牲45人,伤200多人。烈士中有红军干部、鲁中军区司令部一科科长徐黎屏,四团营长刘振江。