杨镐面对水陆两方皆处被动的局面，他选择了继续进攻，首先传令各营造火炬备夜战，而后又重新调整了兵力部署。
右协继续围困岛山并预备攻城事宜，同时加派李时吉和成允文增援箭滩的摆塞、颇贵，这样就能在北岸由西向东形成三个防守区域：摆塞、颇贵应对箭滩南山的援军；李如梅、解生在箭滩和倭城之间防范倭寇由江上登陆；吴惟忠、茅国器在岛山城下的太和江北岸与东川西岸设防。
至于祖承训和南岸明军，自倭寇船只封江伊始，这部分明军只有听天由命了，否则只能是弃子。同样还有西江口的卢继忠，东面四里是倭寇盐浦据点，距西面庆州撤退方向有二十二里之遥，但随时都能被江上水师登陆所截断。封江之后，卢部同样也与岛山城下的联军本部失去了联系，没人知道西江口到底发生了什么。
岛山城内的‘饿殍’们，大概知道再过一两天，他们就能得救，强大的求生意志支撑着每个人。而且围城围到现在，明军的防守早就松懈下来，‘使节’能每日自由进出城内城外，不断给城内传递着消息。
明军的防守就像个筛子，处处都是漏洞，却无人在意。
四日零时，一切准备就绪的右协在杨镐指挥下，最后一次对岛山发起了大规模进攻，战斗一直持续到黎明，其惨烈程度如同二十五日的那场战斗。
但气势却相差万里，明军苦于艰苦的野外条件，围城十多日，士气早就一落再落，反之城内的加藤部众，因为强大的求生欲望支撑反而越战越勇。他们不惜耗尽所有的储备弹药，弹丸如雨一般射到城下，联军伤亡惨重，即便这样，也依然没能登城成功。
杨镐也急了，挥刀先斩退缩的士兵，而后又把畏战的保定游击李化龙绑于军前以正军法。诸兵营见此，只能冒死进攻。
交战之际，城中又传出伪书，假称会有几万大军前来救援，右协得其书后报与杨镐和麻贵。两人见四周情景，江面、陆上倭寇的旗帜四处飘扬，竟深信不疑。再看他们手下的将士，饥饿疲惫，士气低落若再不退兵，恐真的要被包夹。
此时尚未决出胜负，但杨镐知道，明军已经败了，而且还是一败涂地。最终他决定撤兵，接伴使李德馨还努力劝说杨镐放弃撤兵想法，但打脸的是，早在联军还在战场上占尽优势的时候，朝方趁乱逃走者就已过半，如今李德馨还慷慨激昂的劝说明军留下杨镐岂会听他慷慨激昂的废话？
到了正月初四，杨镐下令攻城部队全部撤出战斗，准备