他姬妾都凑数。为此皇后愈发宠爱杨广，疏远杨勇。杨广趁机在皇后前进谗言杨勇要害自激怒皇后。
杨广知皇后意愿专门去见越国公杨素，请去宫中探风声。杨素趁进宫侍宴时为杨广说好话，试探皇后意思。皇后大赞杨广，数落杨勇。杨素应和皇后说太子没才干，皇后从此有废黜太子想法。
杨勇知后担忧，没办法。他听从占星术士在后园内建庶人村，房屋窄小，被褥简陋。他常在村中就寝，希望能躲避天象预言。文帝知太子不安派杨素去看杨勇。杨素到东宫故意在门口站长时间激怒杨勇。杨勇在宫内装束整齐，等长时间不见杨素进门，愤恨，言语中表现。杨素回去说杨勇有情绪，怕要发动事变，要防备。
皇后和杨广在东宫安插奸细掌握杨勇举动，安排人诽谤杨勇。文帝每天都听到杨勇过失。几月后文帝召集群臣商议废立，劝文帝不要废黜天子的大臣被视作太子党羽治罪。再加权臣杨素为太子罗织罪名，隋文帝下诏将杨勇废为庶人，立晋王杨广太子。
杨广成太子后喜好奢侈享乐暴露，隋文帝渐后悔。病重时听到太子调戏后妃后怒，又想召回杨勇。诏令没下达突然去世。皇太子杨广即位，后以暴虐无道闻名的隋炀帝。
隋文帝喜猜忌，不学无术，爱小招数，不明大体，所以忠臣们没谁愿进谏忠言。当年和他一同开创隋朝的元勋和功臣大部分诛杀贬黜，少有幸存。废除学校，只听从妇人话，废黜皇长子。
隋文帝晚年苛刻严酷，喜怒无常，杀人多。曾令左右侍臣送西域入朝进贡使者出玉门关，侍臣路上有时会收取些地方官礼物，如鹦鹉、麖皮、马鞭，他听后愤怒。一次他去武器库查看发现官署中没打扫，抓武器库官员，亲自监斩十人。他暗中派人贿赂令史府史，受贿赂的会被处死，舆论对他有所贬损。