在回杭州之前，沈默已经写信给胡宗宪，向他道明此中的情况，说现在人多了，自己不宜再住您的别墅了。
胡宗宪收到信，笑骂一声道：“这个沈拙言，分明是还想赖着不走。”这当然是说笑，对于沈默能聚拢到这些俊彦，胡宗宪还是十分开心的，更何况这些人里还有他早就想招徕的徐渭、诸大绶等人，便立即回信道：‘你就别搬了，反正那里环境好，房间多，正好作文会。我闲暇时还可以过去，洗涮一下俗气。’又命人将拨给沈默的补助，提高到每月五百两白银，以供养士之资。
至少现在这个阶段，胡宗宪还是把沈默当成他的人。
客船一到了杭州城，便有五辆马车、一百多巡抚衙门的兵丁在码头等候，一个带队的千户率众人向沈默行礼道：“大人，末将胡中丞属下千户胡全，奉命听从大人调遣。”
这下把沈默弄得……老有面子了，笑眯眯道：“快起来吧，胡中丞太客气了。”笑完了觉着自己太官僚了，便微笑道“留两辆车就行了，其余的都回去吧，不要劳师动众。”
那胡全却高声道：“来前胡中丞有交代，说大人与众位相公都是大才，还是排场些，以旌扬朝廷对读书人的优渥，让杭州人能多出几个读书人。”
都这样说了，众人也不好推辞，便上车往西溪去了。
徐渭与沈默一辆马车，待关上车门后，沈默小声问他：“怎么样，方才感觉震撼吧？”
“特官僚。”徐渭翻翻白眼道：“何必呢？咱们花二百文钱，就能雇一辆大马车，把咱们都拉过去。”
沈默本来想教育他好好学习，将来才能摆谱，谁知徐渭一点都不羡慕。沈默只好干笑道：“说别的都是虚的，你老可千万别再像科考时那般作文了。”
“那不挺好吗？”徐渭嘿嘿笑道：“第二啊，多少年没考过的好名次了。”
“提学大人与我单独谈过话，讲到你那篇文章时，说他竟读了三遍才品出滋味，你说你这是何苦呢？”沈默正色道：“若不是你徐渭的大名如雷贯耳，他能有耐心再看一遍吗，早就判你不合格了。”说着叹口气道：“等到了乡试，试卷糊名，专人誊写，谁知道你是哪位？谁又有耐心，把看不懂的卷子看三遍？”
徐渭若有所思道：“怪不得老是中不了，原来是我的水平太高了。”
沈默郁闷的快要撞墙，索姓闭目养神，不再理他。
却听徐渭讪讪道：“好啦，我知道了。”说着很动感情道：“我知道你是为我好，其实
…。。