的职位，让自己的亲信担任南北军和羽林郎的统帅，继而把兵权掌握在自己手中。如此一来，霍家要是有什么动作，宣帝也可以用武力镇压。
再次，宣帝还提拔霍光的儿子霍禹为大司马，明升暗降，实际上剥夺了他的实权，其右将军屯兵的权力从此付诸流水。
最后，宣帝为了将霍山、霍云领尚书事的职务架空，还大力改革上书制度，下令吏民上书，直接呈皇帝审阅，不必经过尚书。
霍家的酒囊饭袋开始时并没有察觉，还以为这是宣帝对霍家的恩宠。此时，霍家掌握的权力被宣帝剥夺殆尽，特别是军权逐渐集中在汉宣帝的手中，霍家人终于明白，这个皇帝绝不是个头脑简单的人，而一想到宣帝对于许平君的深情，霍家还将其谋害，几个知情人就感到不寒而栗，惶恐不安之下，霍家最终决定铤而走险，举行叛乱，推翻汉宣帝，保住他们的既得利益。他们设计了两次阴谋，一次是谋害丞相，另一次是废黜皇帝而以霍禹代替。
这两次企图都得到了以皇太后名义颁布的诏书的支持。太后为霍光的外孙女，她的诏书曾被非常有效地利用过，但这一次霍家却不走运。阴谋的消息泄露到宣帝的耳中，不仅政变没有达到既定目标，霍氏一门还遭受了灭门之祸。参加叛乱的人都被处以极刑，其中霍光子霍禹、霍云，侄子霍山，都被杀或者自杀。而阴谋毒害太子的霍成君也被宣帝废掉，令其迁往上林苑的昭台宫。
十二年后的五凤四年（公元前54年）再度令其迁往云林馆，霍成君自杀，葬于蓝田县昆吾亭东。
废后诏书原文：
皇后荧惑失道，怀不德，挟毒与母博陆宣城侯显谋，欲危太子，无人母之恩，不宜奉宗庙衣服，不可以承天命。呜呼伤哉，其退避宫，上玺绶有司。
至此，刘询终于为发妻许平君报仇，比起吕太后、卫子夫等人，许平君总算得到了宣帝的真感情，从这点看，许平君是幸运的。自此，在西汉朝廷中盘踞了十几年的霍家势力一朝覆灭，汉宣帝最终确立了他的绝对统治。