请立武氏七庙、追王父祖。她的逾矩行为，一度引起唐朝勋贵们以及亲信宰相裴炎等人的集体抵制。可不知是看惯了风云变幻，还是感受尽了世事沧桑，刘仁轨并没有奋起反抗，他只默默地递交辞呈，打算离开这个曾埋没他、又曾给予他施展抱负空间的朝廷。
听闻刘仁轨要走，武则天立即派人传旨晋刘仁轨为尚书左仆射，并派自己最信任的侄子武承嗣拿着自己的亲笔信前去抚慰他，挽留他。因为她知道，以刘仁轨四朝元老的威望，这位重量级人物的去留，将直接影响自己登基的难易程度。
武则天在信中称，刘仁轨“忠贞之操，终始不渝，劲直之风，古今罕比”。
但刘仁轨早已预料到武则天会拿自己树立典型。在给武则天的回信中，他写道：“吕氏见嗤于后代，禄、产贻祸于汉朝。”很明显，刘仁轨是想借吕后乱政的典故，警示武则天不要胡来。
当然，刘仁轨此举也给自己留了条后路——那就是不直接干预武则天专权，只将矛头对准武氏外戚干政。这在武则天看来，刘仁轨不仅规劝了自己的行为，还挽救了武氏族人，于国有莫大之功。
此后，无论刘仁轨有多想辞职回家，武则天始终都是一个态度：“愿（公）以匡救为怀，无以暮年致请。”
垂拱元年（685）正月，刘仁轨病逝于长安，享年84岁。武则天闻讯，立即命在京官员依次到他家中吊祭，并准许其陪葬乾陵。
刘仁轨死后五年，武则天登基称帝。在她心中，仍希望那些有威望的大臣家族能在此刻站出来劝进。为此，她专门找到了刘仁轨之子、太子中舍人刘濬，要他带领群臣向自己劝进。结果，刘濬以刘氏子孙不食周粟为由断然拒绝，终为酷吏所杀。
刘濬被杀后，武则天做出了一个不符合她一贯酷烈作风的决定：她没有株连刘氏家族，而是“慷慨”地让刘仁轨之孙承袭家业，再续名臣之风。也许在她强悍的外表之下，对于直臣及其家族仍存有隐隐的敬畏。
也许，刘仁轨作为一面传奇的旗帜，对于活着的人们仍有深刻的意义。