朝，位忝台辅，魏臣之骨，岂能再受周粟？”遂上《乞骸骨疏》，辞恳而志峻，有“桑榆景迫，难效驱驰；犬马齿衰，宜返故林”语，不及朝局更迭，唯求归乡。诏许之，加太傅，荣宠而归。
归巢县，结庐母坟侧，布衣蔬食。尽散余财于宗族乡里，设义塾，授童子《孝经》、《论语》，曰：“乱世方靖，当以仁孝固人心本。”谢绝官府故旧，门庭萧然，惟与田父话桑麻。龙兴三年冬，晨起，焚香净手，诵《左传》至“苟利社稷，死生以之”句，声渐微，端坐而逝，容色如生。遗命甚简：殓以深衣，葬勿起冢，不树碑铭，惟于墓周植松柏七株。
帝闻讣，哀恸，辍朝三日。亲临致奠，见其故宅萧然，遗物惟敝裘旧牍，抚之流涕，谓群臣曰：“公去，朕失至亲，国失柱石！”追赠太师，谥“文正”。后梓宫归葬，白衣送者塞途，纸灰蔽野，弥望如雪。
赞曰：班固有言，“廊庙之材，非一木之枝。”观文正公一生，岂不然乎？永初之季，主暗蠹生，戎狄交侵，国势累卵。溥以寒素周旋其间，补苴罅漏。其行也，或收冰敬而拒重金，纳别业而署义庄，毁誉交织，白璧微瑕。然察其用心，贪名或有，祸社稷则无。受金非私蓄，取财济公用，类管仲三归，而所惠者广；不拘细行而务宏功，其志可知。后居枢要，处嫌疑，独排众谤，护持北疆，呕心四载，十万甲兵得无南顾，诚社稷臣也！鼎革之际，心迹昭昭：不效夷齐之殉死，守其愚忠；亦耻华王之劝进，玷污清节。耄耋残躯，稳后方而全大局，功成身退，归死林泉。使两朝全其始终，士林仰其风骨。处浊世若砥柱，临鼎革为全节，岂止一国之老成？然以非常之器，行权宜之术，虽功在百年，白圭之玷，终存公论。后世或嘉其才，或叹其瑕，或慕其鉴，或仰其智，仁智之见，存乎方寸矣。--《前魏书，杨溥列传》