马道子早有准备，说道：“臣弟前几日便已听说，也不敢信传言是真，不过臣弟也得一封密奏，才相信是真。”
“什么密奏？”
司马道子从大袖子里掏出一叠布纸，呈给孝武帝，道子言：“此乃谢安女婿王国宝的奏疏，陈言岳丈谢安，妄以品德自居，却恶习不改，有欺君之罪。”
孝武帝一听，大吃一惊，看过王国宝奏疏，勃然大怒，孝武帝道：“谢安一把年纪，竟是徒有德行，心如禽兽，辜负了朕的一片厚望。”
司马道子言：“臣弟看来，谢安德行不端，人心难服，不宜为丞相。”
孝武帝道：“此事不可声张，淝水之战，谢安居功至伟，乃肱股之臣。人非圣贤，孰能无过，无需多言。”
孝武帝出于对谢安的钦佩，即便流言四起，也未当真，但孙太后、司马道子、王国宝这一群人，接着造谣。直到二百六十多年后，唐代做《晋史》，记载谢安挟东山妓，方有历代文人骚客，引以为风流韵事笑谈不绝，唯有后世散人朱长孝做判词曰：
色艺酒诗污学郎，大伤博雅绘轻狂。只追泛海艳情事，怎奈东山书墨香。
寡闻朝堂风骨健，独传市井谤言黄。历来放荡等闲辈，千载无聊寻谢娼。
谣言一日甚于一日，好事不出门，坏事传千里，人在屋中坐，祸从天上来，直至谢安自己也听到挟妓出海之事，
正逢这日入朝，谢安进显阳殿，拜见孝武帝司马曜，奏报商议了几件政事，孝武帝言道：“丞相年迈，整日操劳，可要保重贵体。”
谢安作揖道：“承蒙陛下垂爱，老臣定当尽心竭力，辅佐政事，不负崇德太后托孤之约。”
“尽心竭力？”孝武帝道：“丞相这把年纪，若整日腰酸背疼，尽心不尽心，也无关紧要。”
一听这话，谢安顿时有些发懵，不知天子用意，谢安问：“老臣愚昧，不知陛下何出此言？”
孝武帝双手端过来一摞奏章，说道：“丞相自己瞧瞧，这香闻逸事都传成了什么样子？老爱卿情何以堪？”
小太监把一摞奏章，拿了过来，谢安跪坐一侧，一一打开，有署名的，也有匿名的，奏报之事，全是参劾谢安失德无望，挟妓出海，嫖宿丑闻。
谢安看罢，惊得一头冷汗，没想到谣言越传越烈，好似世人皆如。谢安辩解道：“老臣家室单薄，只有原配之妻一人，早年病故，连妾室也不曾纳娶，何来携妓出海之说？”
孝武帝脸色生硬，带有几分冷讽说
…。。