凑起来的“鄂豫皖边區游击挺进纵队第一支队”，代表当时收容溃兵整编的临时性部队的整训和指挥工作，军衔仍为中校，待命向皖西、豫南地区转进。
这支所谓的“支队”，实际上是一支士气低落、装备奇缺、成分复杂的疲惫之师。谢文渊深知，若不加以整顿，根本无力再战。他将部队带至相对安全的全椒县境内一偏僻村镇暂驻，开始了艰难的重整工作。
他做的第一件事，是稳定军心。他召集全体官兵，没有空泛的说教，而是直面惨痛的现实。
“弟兄们！南京丢了，我们很多战友、同胞没能出来……这是奇耻大辱！”他的声音低沉而有力，“但这耻辱，要靠我们自己去洗刷！小鬼子想亡我国家，灭我种族，我们答应不答应？！”
“不答应！” 台下响起了参差不齐却带着愤恨的回应。
“对！不答应！”谢文渊目光如炬，“我们现在是人少，枪破，肚子也饿！但这都不是当逃兵、当孬种的理由！想想死在南京城里的弟兄，想想还在鬼子铁蹄下的父老乡亲！我们要是散了，垮了，谁去打鬼子？谁去报仇？！”
他宣布了严格的纪律，严惩了几个煽动逃跑、抢劫民财的兵痞，同时尽力改善伙食（尽管也只是稀粥杂粮），亲自巡视营房，慰问伤员。他的以身作则和坦诚相对，逐渐赢得了这支残兵败将的信任。
第二件事，是恢复战斗力。他根据现有的人员和武器，重新编组了班、排。将还有战斗经验的老兵和新兵混编，以老带新。他将支队里仅有的几挺轻机枪和掷弹筒集中使用，组建了火力分队。训练从最基础的队列、射击、投弹开始，利用一切时间，甚至在行军途中也不间断。他亲自示范战术动作，讲解利用地形地物、夜间行军、伏击扰敌等游击战术——这些知识，部分来自陆大的学习，部分源于他对当前敌我力量对比的清醒认识。
在这个过程中，他特别注意发掘和培养骨干。他发现了一个原为机枪射手、在南京撤退时带着机枪零件突围出来的老兵赵德标，提拔他当了机枪班长；发现了一个读过几年私塾、头脑灵活的年轻士兵李振华，让他负责文书和宣传工作。他需要在这支残破的队伍里，重新建立起骨架。
转年，民国二十七年（1938年）初，春寒料峭。谢文渊率领着这支经过初步整顿、士气有所恢复的支队，奉命向大别山边缘的立煌（今金寨）地区转移，那里将是第五战区预设的游击根据地之一。行军路上，他们避开日军主要交通线，跋涉于丘陵山地之间。条件依然艰苦
…。。