剩下砖墙和木板墙以及破漏的青瓦屋顶。饶是当年建房时用的上好木料，所以整个院落的各处横梁、支柱都算完好扎实。赵员外在顺兴客栈生意逐渐红火之后不远辛苦的去了一趟夔州府，在那里雇来百几十个工匠还拉着砖石木料不多时便把听音小筑重新修葺一新。
陵江县百姓原来以为这是赵员外给自己在县里营建的一处府邸，后来不知从谁那里传出说此处做私寮营生，有起得早的百姓偶然瞧见了从这里出来的马车帘子里私有妙龄少女。就这样虽然传言如此但陵江百姓都不知此处究竟作何用处，曾有好事者碰到巡街的都头也曾直言相问结果被训斥一通威胁说再要无事生非、谤诽他人定要打他几板子。也有与赵县尉较为熟络的人与他在顺兴客栈吃早饭的时候打听过，赵县尉则回莫乱猜疑，青年才俊、富家子弟、文人雅客一起吟风弄月的能有甚见不得人的勾当，过往商客常年在外奔波，路过我陵江县得一消遣之处听个曲观个舞又有甚可议论的。
话是如此说却也没有听说有谁进去消遣过，所以一开始街头巷议纷纷扰扰。只是听音小筑白日紧闭门户，晚上周遭百姓也未闻听有大的声响，但有出入车马或有动静也不扰街巷安宁，甚至日常的柴米、 肉菜、酒水都有农户商家定期送至门口，可以说其存在与周遭百姓毫无相干，时间久了大家也就习惯了不再去议论此事。
那么王长贵又是怎么和里面的杨娘子勾搭在一起的呢？这就要从顺兴客栈掌柜赵牧春和江鑫钱庄掌柜王长贵认识说起。
两个铺面同在一个大院、共喝一口井的水，在顺兴客栈住店的多是经常行走于此的往来客商，前来吃饭的也大多都是本地庄主富户，这些人要么觉着方便，要么看知县王富春的面子或多或少都与江鑫钱庄有银钱生意往来。说到这里也不得不佩服王富春选择在此处开办江鑫钱庄的眼光。往往是客商前脚到客栈放好行李住下，后脚出门就去钱庄兑交子或银钱，因此客栈掌柜赵牧春趁着王长贵时常和一帮纨绔子弟去吃饭喝酒的时候时不时的送他一壶酒、上一两盘刚送到的菜肉，王长贵只当他巴结自己好教自己多去照顾他生意，加之觉着在朋友面前面上有光也乐得照单全收。
两人熟络之后王长贵便经常在晚上外出喝花酒归来时顺路去去客栈里弄两个小菜当宵夜。有一次王长贵趁着酒劲拍着赵牧春的肩膀说“赵，赵掌柜，我看，看你人心眼好，好……好！会，会做生意。你要是，要……要是把……把柜上银钱到，到，到，到我柜，柜上兑交子，我……我……我不，我不，我不收你工，工墨
…。。