把天下给了我岳父，也没有什么不可以。”
李显这话让武则天找到了借口，于是一个巴掌把他由皇座上打下来，废为庐陵王，流放到房州。
其实，李显早就看出来了，就是不说“把天下给了我岳父”那句浑话，他在皇位上也坐不长久。母亲总会找碴儿最终废掉他的。龙椅只能坐一个人，要下来的只能是他，坐在皇位上的必须是武则天，这才是事情的本质。
与其被母亲拿下，李显不如以退为进，自己将把柄送。
果不出李显所料，武则天后来做了皇帝。远在房州的李显识趣的奏表遥贺，这让武则天很满意。李显一家的生活因此大为改观，首先是圣神皇帝册封已废为庶人的李重润为庐陵王世子，制书由使者专程送至房州，这算是给了李显一线生机，让他暗自松了口气！
京中隔三差五便有封赏送来，知州知县见此也不敢再过分刁难。打这以后，往日的那般难忍的贫寒也就不再了。
正因为李显表现的庸庸碌碌，所以他活到了现在。李氏家族中人在这十几年，死的死亡的亡。他们的命运比李显悲惨多了，不管怎么说李显也算因祸而得福了。
说真格的，当皇上有什么意思？有什么好处？别说两个亲哥哥死得惨，就是四弟李旦，名为皇嗣却被幽禁在东宫，其实过得还不如李显呢！
“当初我这么做，的确是有让母亲把我废了的意思！”说到这里，李显叹了口气道，“其实还有另外一层侥幸心思在里面，当时若有人支持我或许许就是另一种局面了！”
卢小闲眉头一挑：“您是指裴炎？”
李显点点头：“没错！”
高宗临终前遗诏命裴炎与两位侍郎刘奇贤、郭正一为顾命大臣以辅佐李显登基。李显继位后，裴炎作为举朝唯一的“顾命宰相”权高位重。
按惯例，一般是在门下省辟政事堂以供宰相们议事，太宗时代赫赫有名的宰相司空长孙无忌、仆射房玄龄和太子太师魏征等，都是屈尊到门下省来的。裴炎任宰相后直至任侍中时自然也是在这里议事的，但李显即位后改任他为中书令，政事堂就被迁到了中书省，这既为了裴炎的方便，更为了表示对他的尊崇。
尽管李显极力想拉拢裴炎，但裴炎却干了件令人匪夷所思的事。
高宗在遗诏中留了“军国大事有不决者，兼取天后之进止”，意思很明显，不是全权委托武则天临朝管理国事，而是在有特别重要同时皇帝与大臣们又“不决”的“军国大事”时才能“兼取”她的
…。。