平时朝堂上每个大臣的思路和感觉来看，始皇帝的很多思路似乎与中车府令赵高更为接近。在一些始皇帝传回来的手谕上，除了一些事情的处理决断，还经常大量地带有对他的不满和责备。
另外，在赵高担任中车府令以后，赵高不仅权力越来越大，也越来越得到始皇帝的信任。
赵高不仅与李斯经常朝堂意见不合，赵高还对他扶苏也没有好感。
与赵高关系不佳，他一直认为可能是因为以下这个原因：赵高年轻时曾犯下挪用公款重罪，根据《秦律》有关条文，时任廷尉丞的蒙毅判处了赵高死刑，并剥夺了他家的官籍。而蒙恬蒙毅兄弟与公子扶苏特别要好，特别是蒙毅，他从小就和扶苏一起光屁股玩泥巴出来的，因此感情特别深。
但后来始皇帝最终赦免了赵高，还恢复了他原来的官职。自此之后，赵高与蒙氏兄弟，以及他扶苏就结下了仇。
让扶苏预感不好的是，赵高在始皇帝第四次巡游之际，一反常态，强烈建议始皇帝把北斗剑作为尚方宝剑，作为权力的象征交给扶苏保管，并且在朝堂上公开宣布，搞得人尽皆知。
因此扶苏有理由怀疑，赵高没有安什么好心。可是他只是有一点感觉，并没有实际的和什么具体的事情来佐证。
真的是担心什么来什么，就在始皇帝即将回宫的时候，由十八名高手护卫看守的北斗剑居然被盗了。