55年，羊祜姐夫、大将军司马师病逝，其弟司马昭承位。司马昭征召羊祜为大将军府僚属，但羊祜拒往。后因朝廷公车征拜，才出仕中书郎，不久又任给事中、黄门郎。顶替被废魏帝曹芳的新帝曹髦爱好文学，许多臣将阿谀奉迎于他，但羊祜一如既往"持身正直"。
羊祜的人格魅力，引致反对他、交好他的人赞叹。这以后，羊祜的官运在"挫折中平步青云"：历任秘书监、相国从事中郎等职。晋代魏前夕，担任中领军，掌领禁军，兼管内外政事。西晋建立后，累官尚书右仆射、卫将军，封钜平侯。公元269年，出任车骑将军、开府仪同三司，都督荆州诸军事，坐镇襄阳。在荆州屯田兴学，以德杯柔，深得军民之心；扩充军备，训练士兵，呕心筹备灭吴计划。
公元278年八月，羊祜染恙返回洛阳就医，不想撞遇姐姐羊徽瑜谢世。羊祜悲痛难抑，病情因此加重。司马炎闻报后，嘱羊祜乘坐辇车上殿，不必跪拜，荣受优礼。此次瑾见中，羊祜向司马炎陈述了伐吴的主张及方略。
这年十一月，羊祜病逝，享年五十八岁。临终前，他力荐度支尚书杜预代其职位。史载，司马炎亲着丧服痛哭，因是寒冬之季，泪水流到鬓须，即凝成冰；闻知羊祜作古，荆州百姓纷纷罢市嚎哭，街巷悲声震荡，连绵不断；守防晋吴边界的将士无不北望洛阳，悲恸流泪。
羊祜一如家族中的先辈们，为人清廉节俭，服饰简易朴实，位高权重的他，俸禄自然不低，但因经常接济困难亲族，赏赐有功军士，故尔家无余财。羊祜临终遗言："不能将南城侯印置入棺内。"负责后事的从弟羊琇，向司马炎转呈羊祜要求葬在先人墓旁的志愿。司马炎不许，专赐洛阳城郊一顷风水上好之地给予羊祜当作墓地。
两年后，杜预、王濬等遵照羊祜生前军事谋划，一举灭吴，成就了三国归一。晋国满朝文武欢聚庆贺之时，司马炎举杯落泪追缅："这是羊太傅的功劳啊！"遣派谒者杜宏前往羊祜庙庭告祭得胜讯息，并册封夏侯氏为万岁乡君，食邑五千户。羊祜无子，司马炎以其兄羊发之子羊篇出嗣羊祜，袭封爵位。
羊祜政绩突出，文学成就也很高，时人称为"文为辞宗，行为世表。"羊祜一生著有如《晋书羊祜传》记载的《老子传》和《请伐吴疏》等名篇，另外他还受命修撰《晋礼》、《晋律》，对晋朝典制创立多有贡献。
公元782年，唐德宗追封古代名将六十四人，并为他们设庙享奠，内含"征南大将军南城侯羊祜"。公元1123年，宋室仿唐代惯例，
…。。