没有永远的敌人，也没有永远的朋友。不久，李傕等人又与马腾、韩遂讲和，改任马腾为安狄将军，韩遂为安降将军。公元195年，马腾以军队补给不足为由，请求进驻产粮区池阳属地长平岸头。池阳守将王承害怕马腾图谋自己，率兵偷袭，马腾措手不及，向西败走。就在这一期间，李傕与郭汜结仇，内乱京城，无暇顾及三辅，于是马腾趁机打造了一支劲旅，并与韩遂结为异姓兄弟，联手控制凉州。
公元199年，曹操采用荀彧的建议，派钟繇以侍中身份代理司隶校尉，持节督关中诸军。钟繇到达长安后，写信给马腾、韩遂，陈述利害关系，马腾、韩遂愿意归顺，各自送儿子到许都当了"质子"。
公元202年，受"官渡之战"败况刺激的袁绍，忧郁而死。其三子袁尚承位。袁尚欲与马腾、韩遂联合对付曹操。马腾假装答应，但内心却静观其变。就在钟繇与袁尚部将郭援及匈奴首领南单于在黎阳，即时下河南省鹤壁市交战时，曹操的使者张既、傅干到达马腾营辕，力促马腾助战。马腾终无理由推诿，就派儿子马超带领万余军卒支援钟繇，联手击败了郭援军队。马超的部将庞德还亲手斩杀了郭援。此战甫定，曹操上表汉献帝，拜马腾为征南将军，韩遂为征西将军，俱开府（意为可以成立府署，并有选置僚属之权）。
马腾辖管三辅时，北面防备少数民族流寇侵扰，东面防范处于时下东北方向的鲜卑族骚扰，期间，还配合曹军击败了反叛曹魏的并州刺史高干、张晟之军，斩杀了响应高干的叛乱势力张琰、卫固等人。
面对马腾与曹操之间过从甚密的联系，加上双方部下因磨擦而产生的矛盾日益尖锐化，韩遂与马腾反目。为泄私愤，韩遂竟然斩杀了马腾的妻子。马腾大怒，兴兵攻击韩遂，双方从此陷入连年交战不息的状态。
公元208年，曹操遣派钟繇、韦端前去劝导马腾和韩遂握手言和，但收效不大。曹操便另辟蹊径，提升马腾为前将军，改屯槐里，假节，封槐里侯。曹操此举在于给点马腾甜头，让其撤离与韩遂军队容易产生纠纷的地区。
等到马腾的军队移屯完毕，张既又劝说马腾放弃部队，入朝为官。马腾一度犹豫，但因部队调动已经受到地域限制，迫于压力，最终答应。
曹操紧抓时机，上表封马腾为卫尉；封马腾长子马超为偏将军，代替马腾统领部队，屯于原地；封马腾次子马休为奉车都尉，三子马铁为骑都尉，所有家属徙往邺城。
就曹操看来，尚在家乡统领部队的马超，囿
…。。