今此蔚山之役，天兵初日乘贼不备，以兵马蹂之。贼仓惶不能支吾，奔败不暇——
二十三日这天的战斗，倭寇被打了个措手不及，放弃了兵营城，转而集体逃向蔚山倭城工事群落。希望借助岛山和东部洞，及西部洞、东营、太和江寨这些防御工事，继续负隅顽抗。
倭寇退守蔚山倭城之后，重新进行了防御部署：岛山有加藤安政驻守，东面的城隍堂有浅野幸长驻守，外城北面有宍户和加藤左卫门驻守，西面则是太田一吉把守着。
倭城后方是太和江，渡过太和江南下就是西生浦。而加藤清正一开始听说蔚山被围，还不敢相信，以为是明军放出的假消息，目的是引诱他出西生浦。
当确信消息为真，加藤清正当晚就带着吉村左、吉村右等五十名士兵，乘坐小船从西生浦渡海，向蔚山倭城进发。途中遭到明军堵截，损失二十人之后，剩余三十人和加藤清正继续进发，又趁着潮涨顺利进入倭城，卸下军资弹药。而加藤的到来，仿佛也给倭城里的人吃了定心丸。
二十四日卯时，麻贵、杨镐发出进攻号令，督率官兵向蔚山倭城的外围发起猛攻，‘书生大官’杨镐亲自披甲上阵督战。
卯时天还大黑，但明军的各样火炮已俱发，趁着火炮的光亮，守城的倭军尚能辨认出穿着红、黑、白三色战甲的明朝联军。而此时又刮起北风，城中的房屋一时火起，贼众披靡，顿时乱成一团。
左协负责攻打倭城以东的筑垒，李如梅主攻城隍堂，茅国器率部进攻伴鸥亭及东营，右协李芳春则带人扫荡倭城西面的太和江寨。
茅国器一部攻势最猛，率先攻破东营，之后又克伴鸥亭，再逼近西部洞。城西右协李芳春部逼近太和江寨，一开始还并不顺利，好在其家丁先登，之后才顺利夺下太和江寨。
攻打城隍堂的李如梅反倒进攻受阻，浅野幸长坚守城隍堂，一时间也无法攻陷，以至将外城的战斗拖到了午时才结束。不过这时左协的陈寅部向蔚山倭城的西北方发起了进攻，并连续攻破外栅和三层内栅，外城先登之后，又直逼岛山内城。
加藤清正见外围工事已破，坚守已毫无意义，便派人让浅野幸长撤回岛山城。而此时浅野也快抵挡不住李如梅的进攻，他当即就弃守了城隍堂，向岛山逃去，李如梅随即攻陷城隍堂。
攻陷城隍堂后，李如梅并未停下，而是继续追击，向岛山方向杀去。他一路扫荡，诸如土窟、铺幕一时尽焚，斩落的首级也不知其数。