冒顿单于死后时匈奴分裂南北两部，南匈奴单于遣子助汉平叛后滞留中原自立，参与肥肠之乱。曹操分匈奴为五部，刘豹任左部帅。晋太康年间改设五都尉，刘氏居晋阳。
曹魏时期刘豹妻呼延氏龙门祈子，遇大鱼赠日精，预言将得贵子。刘豹言此吉兆，司徒氏曾预言其子孙必昌，与梦境相符。后呼延氏生刘元海，幼聪慧，七岁丧母哀恸感众。刘元海师从崔游，精研《左传》《孙吴兵法》，兼通史籍，武艺超群，
身长八尺，须长三尺，中有赤髯。相者见之惊称容貌非凡。
曹魏咸熙年间，刘元海为质子居洛阳，得司马昭善待。司马炎即位后，王浑荐其才。武帝召见深谈甚喜，赞其仪容见识，王浑亦附之。说起文武才刘元海可胜过。陛下如派他伐吴能平定江南”司马炎称善，孔恂、杨珧阻谏：“我看刘元海才无人能及，如陛下不给他重兵不足成事，如赋予他权力过重，平吴后会一去不返。非我族类其心必异”司马炎听罢不语。
后秦川雍凉叛乱，上党李憙保举刘元海，被人以同样理由拒绝。后刘元海哭对好友王弥说：“王浑、李憙与我同乡，解我才保举我。朝廷谗言四起，只你知我本无心仕途。怕我早晚死在洛阳，与你诀别吧”他情绪激动，纵酒长啸，闻者流泪。
刘豹死后刘元海继任左部帅。太康末年拜北部都尉。刘元海明确刑法，消除官员奸佞行为，轻财好施，诚意待人，匈奴各部落豪杰都来归顺投靠，幽州、冀州的名儒、士人不远千里来交好。
八王之乱后天下大乱，寇盗四起，刘元海堂祖父故北部都尉、左贤王刘宣秘密商议：“我们先祖与汉人约为兄弟，甘苦与共，晋以来单于虚有其名，无寸土。司马氏祸起萧墙，我们匈奴兴邦复业。左贤王元海才智，上天为复兴匈奴生此人”大家推举刘元海大单于。
司马颖为皇太弟时任命刘元海为冠军将军，封伯。东嬴公司马腾、王起兵伐司马颖时刘元海对司马颖说：“如今两镇跋扈，聚众十万人，怕朝廷抵御不，请让我回去为您说服五部匈奴共赴国难”司马颖担心五胡发难，想迁都洛阳避锋芒。刘元海说：“您武帝之子有殊勋于王室，四海钦佩，谁不愿为您赴汤蹈火？谁会反抗？王是竖子与您争锋？您迁都示弱。东胡之彪悍不如匈奴，如您能勉抚士众，镇守京师，我以两部匈奴伐东嬴，三部伐王平叛指日可待”司马颖大悦，拜刘元海为北单于、参丞相军事。刘元海回北庭当上大单于半年聚众五万，建都离石。
司马颖兵败挟帝迁洛阳。刘元海鄙视
…。。