实际上黄明远所担任的诸职务中，无论是左武卫大将军、兵部尚书还是太子右庶子都是极其重要的职位，权利极重。
同样这种老牌的权利机构，其内部倾轧也是相当严重的，哪怕自己身为老大。
黄明远知道自己作为外来户，在京中各部门中几乎没有什么根基，一旦上任，肯定会受到原有权利体系的各种各样的排斥，甚至为难。若是别的时候，黄明远或许会沉下心来，花费一番功夫，将这群老油条们一一收服。但现在已经是仁寿四年，杨坚也没有半年的时间好活了，等到杨坚身死，这些原本的权利体系势必要发生翻天覆地的变化，到时候自己背靠杨广，更容易行事，因此自己现在没必要一回来便扎堆到三省六部里面跟他们争权夺利，还显得吃相难看。
黄明远在丰州是一言九鼎，但是到了长安，却是无根之萍，受制于人，无论资历、地位、根基还浅薄的很。虽然得立大功，但较之历史上霍去病那样的显赫的地位还相差甚远。
既然如此，还不如冷眼旁观的自在。