到了重创，李密被迫东逃武牢关。
李密又想起了翟让，翟让真是个难得的好人，不争权不争利。他看中了李密的才能，推荐他当首领。可以说，李密后来得的一切，都是翟让给的。可是，李密却听信佞臣的谗言，杀了翟让。
当时，翟让的司马王儒信劝说翟让自任大家宰，总管政务，以此夺取李密的权力，翟让不从。翟让的哥哥翟弘为人粗鲁，他对翟让说：“天子应当自己当，为何要让给别人？你不作天子，让我来作！”翟让听了，只是哈哈大笑，并不放在心上。
后来，左长史房彦藻得罪了翟让，感到很害怕，就把这个情况告诉了李密，并屡次劝李密杀了翟让，李密终于动了心。他将翟让、翟弘和翟让的侄子等人请来喝酒，将侍卫支开，唯独留下壮士蔡建德持刀侍立。还没吃饭，李密拿出良弓，让翟让练习射箭。翟让刚拉满弓，蔡建德就在背后用刀砍翟让，翟让扑倒在床前，声吼如牛。蔡建德将翟弘、翟让的侄子和王儒信等人一同杀死。徐世勣逃出门去，被守门的士兵砍伤了脖子，幸亏被王伯当在远处大声呵止。单雄信跪地请求饶命，李密释放了他。左右两旁的人都十分惊恐疑惧，不知如何是好。李密大声道：“我和大家一同起义兵，本想铲除暴虐。但翟让专行暴虐，凌辱众僚属，也不分上下尊卑。今天要杀的只有翟让一家，与各位无关。”他命人扶起徐世勤，安置在帐篷下，亲自为他敷药。翟让的部众要溃散，李密派单雄信去传达他的慰问之意。随即，李密一人骑马来到翟让军中，表达慰问关切之意。他让徐世勣、单雄信和王伯当分别统领翟让的部众，总算是稳定了军心。但是，李密的将佐开始有了猜疑和不安，这也为李密后来的失败埋下了伏笔。
李密被王世充打败后，本想去黎阳，有人说：“当初杀翟让的时候，徐世勣差点死了，现在失利了却去投奔他，怎么能保险呢？”最后商量来商量去，他们才决定去关中投奔大唐。李密还是很得军心的，跟他入关的有两万多人。后来，李密的一些旧将领也率领兵马归顺了大唐，被朝廷安置在了各地。
夜色已深，李密毫无倦意。他铺纸研墨，挥毫泼墨，笔迹秀逸洒脱，纵横满纸的墨点颇似泪滴：
金风荡初节，玉露凋晚林；此夕穷途士，郁陶伤寸心；野平葭苇合，村荒藜藿深；眺听良多感，徙倚独沾襟；沾襟何所为？怅然怀古意；秦俗犹未平，汉道将何冀？樊哙市井徒，萧何刀笔吏；一朝时运会，千古传名谥；寄言世上雄，虚生真可愧。
这是李密当初隐居淮阳时写的
…。。