宁波明查暗防之外，还严令福建水师派出水军在海上巡逻，擒拿擅自到外海与倭寇交易之人。市舶司衙门和宁波府辖下的官船太过扎眼，极易被水师在外海捕拿，不敢再到外海与扶桑人做生意。如此一来，管事太监、宁波府大小官员，还有宁波城及其它地方的大商人收入剧减。俗话说人为财死、鸟为食亡，这些人没了进项银子，比杀了他们还难受。是以一个个心下焦虑，杀人的心都有。
“有人给管事太监出了一个主意，说官船扎眼，不能再乘坐官船出海。不如雇用民间百姓的船只，装作在海上打鱼的模样，趁锦衣卫的探子和水师舰船不备之时，溜到外海与扶桑人交易。管事太监听了之后心下大喜，当即派人去打听码头上船户的消息，最后断定张家的船只最为合适，便将张家先祖叫过去问话。张家先祖正愁收入太少，听管事太监如此一说，一口答允下来。从此之后，张家明面上做茶叶生意，暗地里派出大船，在管事太监等官员的指挥之下，与扶桑人在海上做交易。虽然大头都被管事太监和宁波府大小官员拿去，张家获利也是颇丰。几十年下来，终于积攒了万贯家财，这才建了这座宅子。”