事情很快又有了变化。明军不知道为什么竟然又向金塘岛进兵。并且和海盗们遭遇上了，发生了激烈的战斗，各有死伤。王直一直有派人侦查、留意这些海盗的动向。
等到接报赶到附近，岛西南海边的山林里喊杀已经成片。双方打得难解难分。明军竟然略逊一筹，被逼得节节后退。
解放军一时间也不知道该帮哪边好，好像都是“自己人”。王直也犯了难，自己带过来的人里，有少部分是刚投诚过来的海盗。只能在一旁静观其变。
不久，瞅着官军快不行了。又有一批援兵从北仑港，乘船过来。战事陷入僵局。可能是发现解放军也来到附近的缘故。打了一阵后，双方终于停手。互相退后，只守不攻。
海盗们据守山里，官军缩到海边。看来最关键的，还是解放军的态度。一个明军将官，在士兵们的簇拥下，垂头丧气地过来交涉。
王直迎上去一看，竟然是张四维。王直因为对他印象很不好，并不怎么想搭理他。张四维还是客气地说明了来意：宁波知府丁湛不仅集中了境内的兵员，而且还向总府杭州请调精兵。想再次联合解放军，剿灭舟山的海盗。这次事关重大，是宁波府通判唐时雍唐大人亲自带的队伍。没想到一上岛，就遇到海盗。希望解放军立即配合消灭。
王直想了想，说：“贵军兵强马壮，剿灭海盗，轻而易举。解放军就不插手了。”照王直的想法，这样已经够给面子了。起码解放军不会趁着双方大打出手时，得些渔翁之利。敌我难辨，解放军摆明中立的态度，也是变相的支持。
张四维没料到王直会拒绝得如此直接。涨红着脸，继续争辩道：“事有紧急，若不是如此，丁知府也不会将我从牢里接出，给我戴罪立功的机会。你若不肯合作，我焉有前途可言。要知道，正是你害我丢了官。”