在长安这么久，张虞越看太子张洛越不顺眼，或许因王霁强势之故，太子性子太柔。而太子不是不知自己问题，但太子每次想有所表现，但总觉得缺了味道。尤其有张漳作为对比，张虞心理愈发偏向张漳，甚至暗地里谋划更换太子。
但每次想到王霁随自己起于微弱，乃是糟糠之妻，张虞不太愿意与王霁针锋相对。况且不管怎么说，张洛也是他的儿子，张虞有时狠不下心来。
说着，张虞长吐浊气，说道：“三子果敢聪慧，能继大任。但若更立太子，皇后岂会答应，必惹朝廷动荡！”
贾诩沉默良久，说道：“太子柔善非坏事，但陛下若欲更立，宜早不宜迟。其中计较如何，当请陛下早断！”
“嗯！”
张虞点了点头，明白贾诩所说之意，无非是王宏病逝了，王氏在政治上缺少了大靠山，今换太子的话，将会容易许多。
为此，张虞暗暗苦笑，自己当初最看不起便是优柔寡断之辈，而今他在换太子上亦是犯难。
“储君之事，稍后再议！”
张虞看向贾诩，问道：“卿此番入宫，不知有何事务上报？”
贾诩作揖而拜道：“陛下既取天下，而诩年岁渐大，身体不适，难以专理枢密院事，故恳请陛下准诩辞官归府休养。”
闻言，张虞眉头微蹙，说道：“天下虽安，但未大治。卿胸有韬略，朕仍需先生辅佐啊！”
贾诩说道：“仆旧从贼寇，陛下用诩而不疑，故臣由是感激，遂为陛下驱使。然今中国息兵，而诩身体老迈，特请归府休养。而若陛下用臣，诏书一封，臣便候耳听命。”
见贾诩欲半隐退，张虞说道：“卿既欲归府休养，朕岂能不准。今免卿枢密使职，授卿兼领侍中，赐自行出入之权。”
“谢陛下恩典！”贾诩拜谢道。
贾诩深知伴君如伴虎之理，张虞现在能信任他，不代表永远信任他。况且天下已无兵事，他最大的作用已无，与其贪恋职权，不如归府享乐，并与张虞保持一定距离。