世贞们却与谢榛发生了矛盾，最后把他在‘七子社’中除名。王世贞甚至公然评说谢氏的诗‘丑俗稚钝，一字不通’，却偏要‘高自称许’，骂他‘何不以溺自照’，就是俗语中骂人的话：何不撒泡尿照照自己的嘴脸。
在谢榛看来，双方交恶的原因，是因为自己曾经对诸子的诗作都做过直率的批评，而诸子不肯接受，也不能接受。但实际上，这主要还是因为李攀龙、王世贞头角渐露，声望曰高，他们几个人又都是进士出身，怎能容忍身为布衣的谢榛成为诗社领袖呢？
这件事引起了许多人的不满，其中最激烈的，就是文坛另一位大腕——徐渭，他深深为谢榛打抱不平，并因此对王世贞等人身为不齿，继而全面否定他们的成就。因为徐渭的名气太大，文章又太犀利，王世贞等人的名声当然损害，若非仗着人多势众，真要被他骂下文坛了。所以此番仇人见面分外眼红，王世贞当然不会给徐渭好气。
“轻薄？”见王世贞跳出来，徐渭冷冷一笑道，“作文贵乎真实不欺、诙谐有致。不知在下破题错在哪里？”
王世贞寻思半晌，竟挑不出毛病来，只得沉着脸说道：“这样作文太煞风景，我有一联请对。”徐渭怎会怕他，笑道：“领教。”
“说起来这上联倒是偶得，年前工部都水清吏司走了水，五成兵马司派员参与重修。”王世贞道：“就有了这么个上联‘水部火灾，持金吾大兴土木’，竟没人能对上来，文长高才，必然难不住你。”这做对子五行俱全，是难得的绝对，在座的无不是此中高手，不禁兴味盎然，连李春芳、沈默、张居正几个，也皱起眉头挽首思忖，心说这个上联着实难为人。
“难是不难，”谁知徐渭马上就有了，朝王世贞呲牙笑笑道：“北人相南，治中君什么东西。”对的确实巧妙，众人又复大笑，王世贞却黑了脸，因为他现在的官职，正是顺天府治中……“我又想起个笑话。”徐渭起身对笑得前仰后合的徐阶道：“师相，有个笑话儿，您可要听？”
徐阶虽觉徐渭过于狂放，但今曰是吃酒，倒觉得有趣，笑得气不匀道：“不许再骂人！”
“不骂不骂。”徐渭便道：“说现在什么都有假冒的，前几天我打发家里小厮去买几只画眉，结果买回来没几天，那鸟竟然掉了色，仔细一看，原来是鸟贩子给家雀刷上涂料假冒的。逼问之下，原来是我那小厮贪便宜，才上的当。我就骂他，谁知他却振振有词道：‘管他是真、是冒呢，反正都是鸟玩意儿，一样一样的……’
听到这儿，王
…。。