比能投降，张虞斩俘众多，名声一时大噪，鲜卑、匈奴、乌桓等胡部无不深畏。凭斩首过当军功，受封亭侯。
四年，趁机鲜卑内斗，张虞出兵清扫边塞鲜卑，凭军功升迁为破鲜卑校尉。
五年，匈奴国人因远调东北生怨，休屠各胡叛乱，斩杀单于羌渠，共举须卜骨都侯为单于，时并州大惊。
张虞受并州刺史张懿的征调，隶属从军征讨。交战时，张虞差点取胜，因上党太守败逃，致使大军兵败，刺史张懿覆没于军中。
危难之中，张虞受众人推举为帅。张虞调度兵马，坚守营垒，杀伤匈奴众多。匈奴受挫而退，张虞趁势出击，雨夜大破匈奴，斩单于首级。汉灵帝大为欣赏，拜张虞为西园校尉，与曹操、袁绍、赵融等并列。
中平六年，豫州黄巾叛乱，州兵不能平，张虞率兵讨平。
同年汉灵帝驾崩，雒阳政治动荡。何进招揽董卓进京，欲杀宦官以肃清朝政。而宦官抢先发难，诛杀何进，后又被袁绍、袁术所诛。
先时，张虞深知雒阳非久留之所，遂以讨贼之名，前往上党征讨白波兵。
果然，董卓入京，执掌朝政，把汉少帝废为弘农王，而改立其弟陈留王刘协，即汉献帝；又派人把弘农王母子毒死，自称太师，专擅朝政。张虞见董卓倒行逆施，明顺而暗违，不愿从其政令。
与此同时，袁术、袁术、曹操等关东士人不满董卓所为，倡义兵号召天下英雄讨伐董卓。
初平元年（190年）正月，后将军袁术，冀州牧韩馥、豫州刺史孔伷、兖州刺史刘岱、河内太守王匡、渤海太守袁绍、陈留太守张邈、东郡太守桥瑁、山阳太守袁遗、济北相鲍信等人一同举兵于关东，袁绍被众人推为盟主，屯兵于河内。
关东联军遣使者游说张虞起兵，张虞虽不满董卓倒行逆施，却也不愿见天下崩裂，遂以‘董卓忤逆专政，人人得而诛之。然卿应盟伐之，与叛乱何异？乱天下者，必袁氏兄弟矣！’驳之。使者羞愧而走，袁绍怒而恨之。
时并州贼乱四起，上党太守被贼劫杀，众迎张虞入上党。张虞以上党为基，以“清除贼乱，保境安民”为口号，招揽并州志士，与天下英豪。郭图、钟繇、辛毗先后来投。
天下大乱之时，白波贼欲与黑山军联合，欲掠上党东行。张虞率兵击之，约与匈奴单于呼厨泉为内应，遂大破白波贼，贼首郭泰被斩，徐晃、李乐归降，斩俘贼民五万余众，遂威震并州。
五月，上党遭遇蝗灾，张虞向太原求粮，
…。。