没私下扣留。魏国立萧詧梁国君主，整顿军队凯旋。宇文泰亲自到于谨府第，在宴会上谈尽欢洽。朝廷赏给于谨奴婢一千、梁国宝物及金石丝竹乐器，封新野郡公，食邑二千户。于谨辞让，宇文泰不许。宇文泰令乐官创作《常山公平梁歌》让乐师歌功颂德。
于谨自认长期掌握权势，地位声望高，功名既建立，情愿保住悠闲生活，把自原所乘骏马和穿盔甲上交。宇文泰明白他用意：“如今强敌未平，你咋独善其身？”就没受。六官制度建立后朝廷任命于谨大司徒。后孝闵帝宇文觉受禅登基，建北周，封于谨为燕国公，食邑万户，升任太傅、大宗伯，与李弼、侯莫陈崇参议朝政。到贺兰祥征讨吐谷浑时于谨遥领军队，教授策略。武帝保定二年因年老，于谨上表乞求退休，诏令不许。
三年朝廷诏令授于谨以三老之位，又赐延年杖。武帝亲临太学侍奉他用餐。宴席结束武帝站着向于谨请教治国之道。于谨答：“治国根本在于忠，讲信用。所以古人说可没钱物和军队，但不可失信用。国家兴亡以忠信为本。希望陛下牢守”到晋公宇文护出兵东伐时于谨年老多病，宇文护因于谨是宿将旧臣，仍请他同行，请教作战方略。军队回后赐给他钟磬。天和二年于谨被任命雍州牧，次年死在任上，七十六岁。武帝亲临葬礼赠谥号为“文”。安葬时王公以下臣僚送葬到城外。附祭在宇文泰庙庭。
于谨富于智谋，善侍奉居高位的人。他名望地位高，但愈谦让。每次上朝往来只两骑马的随从。朝廷凡军国大事多要与于谨商量。于谨竭尽智慧才辅佐谐和皇室。功臣中受重用，人们没说闲话的。他常教训儿子们要恬静谦退。加于谨年寿长，受礼遇，子孙多，都官位显达，当时没人和他相比。