始还想护着他，可架不住两派官员天天闹，甚至有人在朝堂上跟元稹吵了起来，把朝堂搞得乌烟瘴气。宦官们一看元稹这么快就成了众矢之的，觉得他“不好控制”，也慢慢撤了对他的支持。
唐穆宗本来就没什么主见，被这么一闹，也烦了：“既然这么多人反对，那你就别当宰相了。”
就这样，元稹的宰相生涯，维持了三个月。
被罢相那天，元稹还是穿着那件紫袍，走出宰相办公室的时候，天正在下雨。他没打伞，就那么淋着雨走，雨水顺着头发流到脸上，分不清是雨还是泪。他想起三个月前刚上任时的意气风发，想起自己想干的那些实事，现在全成了泡影——不是他没能力，是这官场根本不给你干实事的机会。
罢相后，他又开始了被贬的日子。这次是被调到同州（现在的陕西大荔）当刺史，后来又被调到武昌当节度使。官职看着不算小，但都是远离长安的地方官，再也没机会回到权力中心。
到武昌的时候，元稹55岁了，身体越来越差，哮喘、头痛的毛病经常犯。他还是没闲着，到了武昌就整顿军队，修复城墙，还减免了当地百姓的赋税。有手下劝他：“大人，您都这岁数了，别这么拼命了，好好养身体吧。”
元稹笑了笑，咳嗽了几声：“我这辈子，要么在被贬的路上，要么在想做事的路上，现在能多做一点，就多做一点吧，万一哪天走了，也没遗憾。”
公元831年，元稹在武昌节度使任上病逝，享年57岁。临终前，他让手下把写的诗稿整理好，还特意嘱咐：“把我跟白居易的书信也收在一起，将来一起烧掉，免得给后人添麻烦。”
他走的时候，身边没有多少亲人，只有几个手下和幕僚。消息传到长安，白居易哭得不行，写了首《哭微之》：“今在岂有相逢日，未死应无暂忘时。”——这辈子，他们再也见不到了；只要还活着，就永远不会忘了对方。
宦海一场空，却留下了不朽的诗
元稹的政治生涯，说起来挺“惨”的：想当清官，被贬；想当能臣，被罢；一辈子都在跟贪官斗、跟党争斗，最后却啥也没斗过，连死都死在了远离家乡的地方。
有人说他“傻”，不懂官场规矩，不会站队，不然也不会落得这么个下场；也有人说他“倔”，都被贬了那么多次，还不改那认死理的脾气，非要跟现实硬碰硬。
只有他知道，他不是傻，也不是倔，是心里那点“理想”没灭。从8岁跟着娘读书开始，他就想“靠读书改变命运
…。。