权贵、关东士族对于朝廷和皇权的威胁，李建成深以为然。
到了襄阳，他认为应该收回关陇权贵的种种特权，把默契捐赠换成正常缴纳税赋，但李渊生怕引发关陇权贵不满，而导致屡屡战败、丢失关中的唐朝轰然坍塌，出于国基稳定来考虑，李渊继续执行之前的默契。
李渊的考虑其实十分合理，任何一个王朝，在开国之初都不敢贸然对支持者下手，但李建成认为改得越晚困难越大，而且会在大唐形成特权群体。
李渊想着唐朝江山会慢慢扩大，人口和土地也会越来越多，这样就不会影响朝廷税赋收入，于是坚持自己的观点。不料李唐疆土没有扩大，反而不断缩小，而巴蜀是关陇权贵的后花园，最肥沃天府之国都被关陇权贵和地方豪强占据，偏偏他们这些人个个享受免税待遇，再加上关陇权贵和入驻巴蜀的关东士族、南方士族行使晚杀一村、翌日占领田地的残暴一套，致使朝廷能够征收税赋的土地越来越少、税赋也一年比一年少了起来。
之前，各大门阀无路可走，只能跟着李唐一路黑到底，是一荣俱荣、一损俱损的关系，所以甭管李渊要粮钱还是人口，都会大力支持，可随着杨侗放出和解的声音，又见到李唐苟延残喘，前途暗淡，一个个都生怕惹得新主不满，纷纷停止了对李唐王朝钱粮的支持，导致李唐陷入缺钱少粮的窘境，如果不解决这个问题，军队不战自溃。从那时起，李渊就有了动关陇权贵的念头，他在南阳的时候让李元吉接手‘只眼’，其实就是在搜罗通敌罪证，在关键的时刻能够逼迫关陇权贵让步，可现在见到关陇权贵越来越放肆，加上害怕他们的军队，便生起了杀机，哪怕身死国灭也要搏一搏，如果能够在隋军攻破之前，将关陇权贵消灭干净，完全可以效仿刘备，从容退入巴蜀，闭关锁国，往西、往南发展。如果不行此险招，必然十死无生，
李渊这种心态其实就是有钱的时候一起吃肉，没钱就拿属下开刀，谁让关陇权贵积累了百多年，一个个都富得流油，猪养肥了总归要宰杀下锅，李渊在私下问两个儿子，跟问屠宰之技一模一样。
李渊长长的吐了口闷气，关陇权贵在军方和地方都十分强大，尤其掌控了钱粮这个命脉，才有了和朝廷扳手腕的底气。他缓缓的说道：“并不是我们消灭不了关陇权贵，而是大唐根基十分薄弱，如果强行消灭，代价大得我们根本承受不起。但关陇权贵始终是毒瘤，因为他们对良田的大量占有，使我们无法实行均田制和府兵制；他们对官员、武官职位的大量占有，使我们无法开科取士，而杨
…。。