当然，纳妾成家的又何止祖公茂一人，人于和伟版的刘玄德都说了，我打了一辈子仗了，就不能享受享受吗？张孝武都好几个老婆，还各个都漂亮极了，自然制止不了手下人纳妾成家，于是一股娶美人纳妾的风，便在众军候校尉之间流传开来。
女人多了，男人便不够分了，祖公茂也是一个近四十岁的老男人，平时军事缠身自是无法雨露均沾。不久，他的一个小妾私通祖公茂的一个堂弟，却被别人看到，随后两人遭到勒索，担惊受怕不已。
虽然暂时用钱财买通了知情人，但小妾和堂弟为了一劳永逸，暗中买通杀手杀了知情人。因知情人死在了祖公茂家中，立即引起了祖公茂的警觉，他带人追查真相。眼看着事情即将暴露，两人为了免于被祖公茂盛怒杀死，便先下手为强。他们先是暗中买了一些蒙汗药，待祖公茂饮酒服下熟睡之后，那小妾将一张润湿的纸巾贴在祖公茂的脸上，将他活活憋死。可惜这双刀祖公茂没死在战场之上，却死在了一个十八岁的小妇人手中。
二人如此大胆，自然是因为平日祖公茂纵惯之祸，扬州太守上报了这两年祖家在扬州犯下的罪行，尤其是得到了祖公茂这个靠山之后，祖家行事肆无忌惮，连他这个太守也不放在眼中。同为扬州人的军师兀松也无奈地上报说：“祖家人的确在扬州祸害太深，而祖公茂偏袒族人，以至于祖家人在扬州被私下称之为阎王爷，谁也惹不得。”
张孝武深恨这祖家人，但他不再管辖扬州，便只能要求扬州太守在惩治祖家人时务必除恶除尽，绝不能姑息纵容，且秉公执法不惧压力更不要趁机打击报复。不久，祖家便遭到惩罚，因罪行过大，祖家上下被判秋后问斩的便有二十余人，发配之人更是达到上百，祖家的财产也被没收了九成。
而祖公茂之死，让张孝武更加悲伤难过不已，也让他开始担心其余人来。
随后，张孝武进一步加强军权管理，勒令所有军官家属必须放在北方四州，他吸取了先前兵力分散从而导致自己控制力下降给人野心的教训，将兵力集中之后统一管理，成立了类似于中枢府一样的燕军府，进一步加强了集权。
但重新集权的后果，便是他的头发一日一日的变白，张孝武明白，是自己的病导致自己进入快速衰老阶段，他的身体没有衰老，反倒是头发先衰老变白了。
大德五年十二月初八，即圣汉百姓传统了腊八节这天夜里，张孝武如常睡下，却忽然感觉天旋地转，甚至连油灯也跌落在地。他立即大喊一声：“地震了，快躲起来！
…。。