汗流不能起，由是不自安，而切齿于道子。后出补义兴太守，郁郁不得志。叹曰：“父为九州伯，儿为五湖长。”遂弃官归国，上疏自讼，不报。桓氏累世临荆州，玄复豪横，士民畏之。尝与仲堪厅事前戏马，以矟拟仲堪。参军刘迈曰：“马矟有余，而精理不足。”
玄不悦，既出，仲堪谓迈曰：“卿狂人也。玄必使人杀卿，卿宜避之，我岂能相救耶？”仲堪即使迈避去，玄果使人迫之不及矣。征虏参军胡藩过江陵，见仲堪曰：“玄志奢侈狂妄，君侯待太过，非计也。”藩内弟罗企生为仲堪功曹，藩谓曰：“殷侯倒戈授人，必及于祸，君不早去，悔无及矣！”罗企生遂同藩而归。