年徐述夔在万般失望下，只得回乡钻研学问，撰写诗文。他在自家院中修建了一所书楼。因为书楼中央立着一根大柱子，屋梁则像伞骨一样搭在这根柱子上，后来起名叫“一柱楼”。
乾隆二十七年（1762年），徐述夔在郁郁寡欢中去世，还不到六十岁。
徐述夔死后，徐怀祖——也就是徐寿南祖父，便请了父亲的两个学生徐首发和沈成濯两位秀才，来整理父亲的遗著，又延请名宿为遗著撰写序文，并刊刻出书。这就是《一柱楼诗集》。
此后的十多年间，从未有人向徐怀祖提出他父亲的这些书中存在谬误。
直到乾隆四十二年（1777年），同村的蔡家老二蔡嘉树，因为跟徐家产生了田地纠纷，有了怨气。
简单的说就是蔡家的老大因家道中落，把自家的田地卖给了徐家。可是蔡家的祖坟就在这片田里，当时徐家就留出了蔡家祖坟周围的一亩田，还给了蔡家。
而后蔡嘉树因为乡里捐资的事，在言语上冲撞了徐怀祖；徐怀祖就拿蔡嘉树的儿子在国恤日剃头说事儿，将蔡家告到县衙，逼着蔡家出了捐款。蔡嘉树由此怀恨在心。
这一年的夏天，徐怀祖发了急症，一命呜呼。
徐家的当家人就换成了徐老爷的儿子徐食田，也就是徐福南和徐寿南的父亲。
当年入冬后，蔡嘉树就找上门来，说想把当年卖了两千四百两的田产，用九百六十两赎回。徐食田哪能答应这个要求，当场给他轰了出去。
结果这蔡嘉树临出门前说，徐食田祖父的《一柱楼诗集》里有“抵毁本朝”之语，要去告官。
徐食田随即找来了祖父的弟子，也是著作整理者徐首发和沈成濯。这两个老秀才作为一柱楼文集的校对者，大名赫然列在书上的首页。（“首发成濯”暗合不满清廷剃发之意）
几人将著作中的遣词用句仔细推敲，发现有一些文字的确是会引起非议的。但当时的文坛风气普遍认为好诗就要有风骨，不发几句牢骚，算不得上品。
况且为《一柱楼诗集》写序的人里，除了时任盐场大使的姚德璘，另一位就是曾被乾隆称为“江南老名士”，死后被追封为太子太师，赐谥文悫，入贤良祠祭祀的苏州大儒沈德潜。
几人一番商议后，徐食田决定将已经刻印发行的书以及书版上缴县衙，其他未刻印书籍后来也陆续上缴。
而另一边的蔡嘉树回去之后，就在自家管家童志璘（早年想入泰州学，没被徐述夔答应，因此怀恨多年
…。。