武帝朝的五贵、选曹七贵、六贵都没少过他。
不得不说这老家伙还是非常有本事的，这是一个相当有才干的宰相。可惜的是，这老家伙的毛病更多，比如说贪财，比如说喜欢阿谀奉承，比如说喜欢朋党，比如说喜欢党同伐异，尤其是党同伐异，是他五起五落的根本原因，可他安分不了多久又玩上了。据说他还以贾诩为榜样，自我标榜深诣自保之道，他忠诚的永远是自己的利益，你让彻底收服于他，是相当困难之事。
宇文化及发动江都之乱后，任命苏威为光禄大夫、开府仪同三司。到宇文化及失败后，苏威顺势归附李密。不久李密在和王世充交战中大败一场，苏威又跑到东都当起了王世充的太师，接着又和云定兴把王世充卖给了李世民，可他跑得慢，或是不想跟李世民走，所以一直留在洛阳。
苏威认为自己是大隋老臣，所经过之地，都是被迫无奈的随机而处，希望获得大隋收容豁免。
念及此人对大隋有大功，又是一个离死不远的八十多岁老人，杨侗也没有为难于他，赏赐了些钱，让他回家养老，可这老家伙是一个不甘无权的官迷，以老臣为名得寸进尺，多次上书说要为国尽忠。
此人才能是有的，可用他，杨侗当然不愿意了。
一来、苏威的污点太多，尤其是他先后当过宇文化及、李密、王世充的大官，这奸佞之名是永远都洗涮不掉了的，如果起用这种没节操的人，让他登堂入室，那是对大隋忠贞烈士的最大玷污，对于推崇忠诚观的大隋王朝的名声相当不好。
二来、此人有才无德，文帝都说他‘其性狠戾，不切世要，求名太甚，从己则悦，违之必怒，此其大病耳。’如果他能活到百把岁，还有十多年时间搬弄是非，把朝廷风气搞坏。
三来、苏威年纪太大，都八十多岁了，如果他死在任上，还得给他一个美名，如果给一个奸佞之臣、反贼臣子以美名，这让文武百官、百万将士、万千子民怎么想？你这是鼓励大家不忠吗？
所以，杨侗见都懒得见他一面，免得上他的当：“朕就不见他了，朝廷也不缺才德兼备的青年干吏，让他安心养老即可，”
冰天雪地里，如果他磕到碰到，还被人说成虐待老人，这种哑巴亏，杨侗可不想吃。
“喏！”杨恭仁应了下来。
苏威的事情就此结束。
这时，杨恭仁又说道：“圣上，臣以为王威、王琮、高君雅、杨元弘可入阁。”
杨侗登基之时，册封王威为太常卿、王琮
…。。