易方物，利可十倍’。
东南沿海的富商大贾、豪门大族也认识到这种对外贸易的丰厚利润，不少沿海豪民纷纷建造巨型船舶，进行大规模的走私贸易，不少生活困苦的贫民、从卫所逃脱的军户，纷纷入海求生，还有一些宦途失意的士绅，及穷困潦倒的书生也混迹其中。时间一长，几种势力联合起来就形成了较为庞大的武装走私集团，也就是海商集团。
当然空船跑不来金银财宝，还得有货物才行，所以这些海商走私集团，必须以沿海的豪门大姓为依托，帮助他们囤积及销售货物。虽然大明律严禁民间进行出口贸易，但在利益的驱动下，一切法律都是空文。而且正德年间，法纪松弛，海禁形同虚设，成为了这些大海商发展的黄金岁月。
根据五十岁以上的老吏们回忆，那个年代官方贸易的宁波市舶司还在，民间的私下贸易更是红火的不得了，东南的富家大族纷纷开设工场、茶场、瓷窑，雇佣大量的百姓进行生产，再将囤积起来的货物倒卖给海商，由海商销往西洋，大家各司其职，走私货物得以较顺利地运销，彼此均有利可图。
在这期间，大量的曰本人从战成一锅粥的国内逃出来，加入了海外贸易之中，成为十分好用的打手兼打工仔，对东南沿海的威胁并不大，所以整个正德年间，虽然朝廷的海防卫所已经烂透了，却是出奇平静的一段时期。
但是，很多事情都是毁在这个‘但是’上，后来发生的‘曰本使节争贡事件’，原本只不过是个较严重的外交事件，却被当时的首辅夏言归咎于市舶司，认为是对外贸易频繁，外国人进出太多造成的混乱，并轻率地予以关闭。
这种愚蠢之极的做法，结果只是减少了官方的大量关税收入，却使私下的走私更加猖獗，海商的实力也变得益发强大起来，完全成为东南最大的一伙政治、经济集团，也深受东南各界的欢迎。
据时人描绘，在嘉靖二十九年以前，东南的官府明知对方是走私贩，但贪图其厚利，任其堆货，且为其打点护送，‘关津不查不问，明送火铳资贼。’
一位宁波卫的老军官，曾经向沈默描述过令人瞠目结舌的场景，他说每当有海商船队靠岸‘近地人民或送鲜货，或馈酒米，或献子女，络绎不绝；边卫之官，与大海商素有交情，相逢则拜伏叩头，甘心为其臣仆，为其送货，一呼即往，自以为荣。’
但这种繁荣毕竟是无序的，在罢市舶司后，海商的进货渠道便全由沿海的豪门大族控制，动辄以‘官府查禁甚紧’为借口，大肆囤积居奇，令海
…。。