因为战争的减少，从朝廷获得的支持大大减少。而对付新崛起的始毕可汗，若是想不靠中央的实力，单凭一州一郡便能得胜，是不可能的。
黄明远虽然远在辽东，鞭长莫及，但对安北都护府的局势也忧心忡忡。安北都护府打一万场胜仗也灭不了东突厥，但若是败了一场，则是灭顶之灾，仗不是这么打的。
于是黄明远上书杨广，请求将安北都护府的官兵内撤入阴山以南。
安北城是个钉子，也是大隋在草原宣扬统治力的见证，是杨广“天可汗”的脸面。杨广本是极不愿意放弃这里的。
但杨广也知晓突厥人的进逼之势。安北城孤悬塞外，一旦被突厥人攻破，隋军丢的脸更大，还不如主动放弃。
大业九年十月，斛律晟率领七千安北都护府官兵撤入丰州。至此，大隋经营十年之久的安北城正式放弃，大隋与突厥的边境再次回到了阴山一线。