开府，改封爵为成安县公，食邑一千户，赐粟帛、奴婢、牲畜。
杨坚担任丞相后杨素倾心结交，受杨坚器重。等杨坚受禅让称帝给他加官晋爵。
隋文帝图取江南。此前杨素多次向朝廷进献攻取陈国计策，不久拜为江西上饶总管，上任破陈。杨素命人建大战舰，上面盖起五层楼台，可容纳战士八百，上置旗帜。次等舰叫黄龙，可容纳战士百人。此外平乘、舴艋之类的船只数量不一。
大举攻陈时杨素为行军元帅，率大军前往三峡。军队到达流头滩时陈国将领戚欣派青龙战舰百艘、士兵千人镇守狼尾滩，阻击隋军。其地势险峻，将领们顾虑。杨素趁夜色掩护，亲率黄龙战舰千艘，命战士们衔枚而下，同时派开府王长袭率步军从南岸攻击戚欣其他营寨，命大将军刘仁恩率骑兵直趋白沙北岸，黎明时赶到，发起攻击。戚欣败退。隋军全俘虏戚欣军队，慰劳他们后遣散，秋无犯，陈国人高兴。
陈国南康内史吕仲肃占据江峡，在北岸凿岩石，连缀铁索三条遏制战船。杨素与刘仁恩登陆并进，先攻他寨栅。吕仲肃军队在夜被击溃，杨素从容除去铁索。吕仲肃据守荆门，杨素派遣善驾船的士兵千人，用柏樯击碎敌人十艘战舰，大败敌军，俘虏甲士二千，吕仲肃孤身得免。陈国另两位守将吓得退走。湖南岳阳以东没敢守的。班师后杨素被封郢国公，食邑三千户。他因逆贼王谊曾封于郢，不愿与之同封，改封越国公。
在外征战久隋文帝将杨素召入朝替苏威担任尚书右仆射，与高同管理朝廷政事。杨素疏放，善言辩，随心所欲，旁若无人。朝中大臣他推重高和牛弘，厚待薛道衡，视苏威于无物。其余朝廷贵臣被他欺侮凌辱。杨素风度高于高；但忠心为国，平等人接物，有宰相气度比不上高。
不久文帝命杨素监督修造仁寿宫，杨素削平小山，填塞山谷，督责工程严迫苛刻，劳工死多。到宫殿建成后文帝令高去查看，高奏称华丽，劳工死伤多，文帝不高兴。杨素恐惧，无计可施，到北门对独孤皇后说：“帝王按制度应有离宫别馆，现在天下太平，建这样宫殿浪费？”皇后用这道理劝解文帝，文帝不满稍微缓解。
开皇十八年突厥达头可汗侵犯边塞，杨素以灵州道行军总管身份出塞征讨。将领与突厥作战时常顾虑敌人骑兵冲击，都将战车与步军骑兵杂合，车载鹿角列方阵，骑兵列入阵中。杨素认为保全方法，不能胜。令各军列为骑兵阵势。达头可汗听后大喜：“天助我！”下马仰天祷告，率十万精锐部队进犯。杨素奋力迎战，大破敌军，达
…。。