卓，等到任命真的下达后，他又称病不去，悄悄从蓝田翻过秦岭，去了南阳。
听说华歆在南阳，袁术邀请华歆帮他做事。华歆建议袁术发兵讨伐废帝另立、篡权乱政的董卓，但袁术没有采纳。华歆觉得袁术难成大事，即另走他乡。恰巧此时汉献帝刘协派太傅马日磾安抚时下函谷关以东地区，马日磾便召华歆去做掾属。
华歆行至徐州，刘协下诏任其为豫章太守。华歆即去赴任。因于他为政清静，从不欺扰吏民，因此深得辖内百姓拥戴。其时扬州刺史刘繇作古，数万扬州民众轮流赶到豫章太守府前，恳请他去扬州担任刺史，前后历时数月，因无皇命，华歆婉言将他们劝回。
孙策占领江东后，知道华歆有德有才，即派虞翻前去华歆处邀约，等到华歆光临，即施以上宾之礼。
孙策死后，曹操上书汉献帝请召华歆至许昌任职。孙权不让华歆离去，华歆认为，自己此去，有三好处：一是遵奉皇命；二是结谊曹操；三是宣传江东。孙权于是答应。听说华歆进京赴任，亲朋好友皆送"巨礼"，华歆全收，但注明赠者。到了启程那天，他将赠礼全都摆出，以途中携带、恐遭匪贼劫掠、遭至命丢为由，一一退回。
华歆到达许昌，即被授为议郎兼司空军事，不久升任尚书，又转升侍中，再代荀彧为尚书令。曹操征讨孙权时，奏请汉献帝任华歆为军师。曹操受封魏王后，华歆任御史大夫。
公元220年，曹丕承继魏王，拜华歆为相国，安乐乡侯。同年12月，曹丕代汉称帝，华歆登坛主持受禅仪式，并向曹丕呈上皇帝玺绶。之后，曹丕改任华歆为司徒。
华歆贵为曹丕身边大臣，为政仍如以往清廉，所得俸赏，常接济亲戚熟人，家中余粮不足百斤。魏国有个制度，就是将罚没为奴的年轻女子赏赐给大臣，华歆从不收留，而是让她们自找中意之男出嫁。曹丕感赞："华司徒是国家难得的长者，暗合天地之道，深得民众之心。"
公元226年五月，曹丕驾崩，曹睿即位，封华歆为博平侯，增邑累计一千三百户。同年十二月改任华歆为太尉。华歆称病请求退休，提议让管宁担任太尉。曹睿没有同意，认为华歆生病，行走、下拜不便，可以乘车坐轿，上殿由卫士抬送。此后三公凡有疾病，就把抬着上殿做法当成旧例延用。
公元230年，魏明帝派曹真从子午道进军征伐蜀汉，曹睿车驾亲临许昌。华歆面见魏明帝，提出"为国者以民为基，民以衣食为本"，建议曹睿以"修文德"为重，能不征战，尽量不征战
…。。