广阳王同意。破六汗拔陵果然截击，在岭上击败乜列河，俘获其全部众。于谨率伏兵冲出，贼兵大败，夺回乜列河全部众。魏帝赏于谨，任命积射将军。
孝昌元年于谨跟随广阳王征讨鲜于修礼。军队驻扎河北，逢章武王被鲜于修礼害死，将军队停驻中山。侍中元晏向灵太后扬言：“广阳王以宗室重要身份受令出征，如今徘徊不进，坐观待变，图谋不轨。于谨智谋才略非凡，是谋划者。当今战乱怕他们已不忠”灵太后听信，诏令在尚书省门外贴告示招募能捉于谨的人，予重赏。于谨听这事对广阳王说：“如今女主临朝执政，听信小人谗言，如不能表白殿下清白会大祸。我求到京城投案自首，表白真心，免除祸”广阳王同意。于谨跑到榜下说：“我知这人”众人都盘问。于谨说：“是我”官府上报，灵太后召见于谨，恼怒。于谨详细申述广阳王的忠，又陈述停驻军队情况。灵太后怒气缓解，放他，不久加授于谨为别将。
后于谨同宇文泰相交，劝宇文泰以关中为根据地，“挟天子令诸侯”，建业。回洛阳后于谨上表提出迁都关中计策，魏帝采纳。不久黑土率军来袭，于谨随魏帝西迁，从那后追随宇文泰对东魏作战。
当初梁元帝平定侯景之乱后在荆州继位，秘密与齐氏互通使者，打算进犯西魏。梁元帝哥的儿子岳阳王萧詧当时任雍州刺史，因梁元帝杀他哥萧誉结仇。萧詧以襄阳来归附，求西魏派遣军队。朝廷令于谨率兵征讨，宇文泰在青泥谷为于谨饯行。长孙俭问于谨：“如替萧绎考虑，他将怎行动？”于谨答：“在汉水、沔水炫耀兵威，一举渡长江，占据丹阳上策；迁移外城居民，退守内城，加固城防等援军中策；若难以迁移，据守外城下策”长孙俭问：“你估计萧绎哪种策略？”于谨答：“下策”长孙俭说：“为啥？”于谨答：“萧氏据守长江南十年。恰值中原多动乱，没精力扩张。又因我朝有齐氏威胁，定认为我不敢分散兵力。萧绎软弱，缺谋略，性疑忌少决断。愚民难考虑根本大计，都眷恋家园不愿迁移，要据守外城，必用下策”
于谨令中山公宇文护、大将军杨忠率精锐骑兵先占据长江渡口，切断对方退路。梁人在城外竖起木栅栏十里。不久于谨军至，率全军将其包围。梁主多次派兵在城南出战，被于谨击败。过十六天外城陷落。梁元帝退保内城。次日梁元帝率太子以下臣僚出城投降，不久为萧詧杀。此役魏军俘虏南朝男女十万，没收仓库珍宝。又得宋国浑天仪、梁国日晷铜表、魏国的相风乌、铜蟠螭趺、直径四尺玉石，及各种车辇仪仗器物，全献上，军队
…。。