头重伤逃遁，所率兵卒死伤不可计。
仁寿初年杨素代高担任尚书左仆射。当年他以行军元帅职出山西怀仁攻击突厥，连续破敌。突厥撤退，杨素率骑兵追击，晚上追上怕敌人逃，令骑兵稍靠后。杨素亲率两名骑兵和两名投降突厥士兵与胡虏同行，没被发觉。待突厥驻扎尚未安定，杨素率后续骑兵攻击，大败敌军。突厥远逃，漠南不再有突厥王庭。
杨素足智多谋，善抓时机对敌，应变灵活。然杨素治军严厉，有人触犯军令立即斩杀，每次将临战，找出部下过失处斩，多的杀百人，少的十人，血流满地，他仍谈笑自若。到两军对垒时杨素先令一百人冲向敌人，冲溃敌阵则罢，如敌阵未溃败而有士兵跑回，不管多少全斩首。再令二百人冲向敌人，退回的如前处置。将士们颤栗，怀必死之心对敌，以此战胜，成名将。杨素显贵受宠，朝廷对他言听计从，跟随杨素征伐的微小的功必登录。至于其他将领，有大功常被文吏责罚去除。士兵们愿跟随他。
杨素恩宠日渐优厚。他弟杨约、叔父杨文思、弟杨文纪及族叔杨异，都尚书、列卿。他儿子们没汗马功，官位至柱国、刺史。家有千名仆人，后房姬妾穿绮罗千人。家宅奢侈，规模与皇宫媲美。亲戚和旧日属吏居于显位。当时无可比拟。
炀帝刚做太子忌惮蜀王杨秀，与杨素合谋算计他，罗织罪名，后杨秀废黜。朝中大臣有违背触犯他，即使忠心为国，如贺若弼、史万岁、李纲、柳彧，杨素都暗地里阴害。如有投靠他人或亲属，即使没啥才加官晋爵。朝臣纷纷倒向他，兵部尚书柳述借帝女婿地位，多次在文帝面前指责杨素。大理卿梁毗上表直言杨素作威作福。文帝疏远杨素后敕命说：“仆射是国家宰辅，不可亲自过问琐事，五天去次尚书省议论大事”表面上厚待重视，实际削夺他权力。直到仁寿末年杨素没再掌理尚书省事务。
文帝病重时杨素与兵部尚书柳述、黄门侍郎元岩入宫侍候。皇太子杨广居于大宝殿，担心皇上归天要先做防备，亲手写封送出问杨素。杨素写文帝病情报告太子。可宫人误把此信送文帝。文帝怒。他宠爱陈贵人又说太子非礼她。文帝要召回废太子杨勇。太子杨广向杨素问计，杨素假传圣旨，令太子卫队护卫皇宫把守大门，禁止出入，令张衡侍奉皇上病体。文帝于当日驾崩，舆论一时怀疑。
后汉王杨谅起兵，杨素披挂出征，平定叛乱。杨素有此大功，有建国立君谋略，然为炀帝猜忌。炀帝表面优厚待遇，内情浅薄。太史说隋分野有大丧，朝廷就改封杨素于楚，因隋与楚分野相
…。。