张衡这个人，能力绝对是一流的，虽良、平何以过之，只是后世因为杨广的名声不好，所以才声名不显。但张衡的缺点也很明显，其为人却是过于鲠直了，做事有些不讲究方式方法，喜欢直来直去。周武帝宇文邕遭太后之丧，却与左右亲信出去打猎。张衡知道后免冠露发，抓住周武帝的坐骑，直言劝谏，弄得周武帝也下不来台。
杨广为河北行台时，张衡历任刑部、度支二曹郎，后来又先后做了并州总管掾、扬州总管掾、扬州总管司马。杨广很亲重他，张衡也尽忠竭力侍奉杨广。杨广夺太子之位的计谋，大多为张衡所提出。
但这些都不是张衡今日在杨广面前发脾气的理由。
刚而犯上，居功自矜，是人臣之大忌也。现在的杨广对张衡没有办法，但杨广却不是一个虚心纳谏的人。
张衡的话或许说得很对，心情也是可以理解，但在杨广已经明确说了不要追究前事的情况下，再发这顿脾气却不应该。而且身为人臣，更不应该夺了杨广的主导权。
看着这场面，杨广正襟危坐，脸色铁青，不知道是对黄明远不满还是对张衡不满。
张衡的话黄明远当然可以直截了当的反驳，但张衡是他的老师，不亚于父母，他也不得不顾忌张衡的面子。
黄明远行了一个礼，说道：“王爷，先生。明远擅自替王爷表态是明远之过，请王爷责罚。不过此事虽然唐突，但那个时候，明远也不得不顺着圣人的意思说。而且，明远有疑问想问诸位的是，难道大家都认为王爷应该上书圣人处死太子吗？”
郭衍看张衡吹胡子瞪眼的样子，又看到杨广脸色不是很好，忙上前一把按住要反驳的张衡，然后对着黄明远问道：“黄将军难道对此有什么异议吗？”
郭衍二十多岁就做到行军总管，又是职兼文武，且善于做人，《隋书》就曾把他和宇文述列为隋炀帝佞臣代表，黄明远也不能在他面前拿大。
“王爷，张先生，裴相国，宇文将军，郭将军，明远认为这个时候我们不仅不能逼着圣人处死太子，反而应该让王爷去向圣人求情，保下太子一命。”
看张衡又要起来反对，黄明远接着说道：“诸位先生的意思明远明白，除掉太子便可一劳永逸，今日若是让太子脱难，他日又会成一个祸患。可是到底杀不杀太子不是我等能够决定的，最终的处置权在圣人身上，难道诸位先生看不出圣人不想处死太子吗？”
郭衍笑着反驳道：“黄将军，正因为圣人不想处死太子，我辈忠臣才更
…。。