1937年10月2日，中共中央与国民党谈判达成协议，将南方8省红军游击队统一整编为抗日部队，组成一个军，由叶挺担任军事领导。叶挺欣然受命，并提议改编后的部队称为“国民革命军陆军新编第四军”（简称新四军）。10月12日，国民党南京政府正式颁布改编命令。12月下旬，新四军军部在武汉组建，1938年1月6日在南昌正式办公。其主要领导人是，军长叶挺，副军长项英，参谋长张云逸，政治部主任袁国平、副主任邓子恢。为加强党的领导，中共中央决定成立中共中央东南分局和中共中央军事委员会新四军分会，项英为分局书记兼军分会书记，陈毅为军分会副书记。在此前后，各游击区的红军游击队纷纷下山开赴指定地点，集中整训。

     1937年10月，赣粤边的赣南抗日义勇军奉项英、陈毅和赣粤边特委之命，陆续到大余县的池江圩集中，改编为江西抗日义勇军第一支队，其中包括油山、北山、南山游击队共300余人。池江整训后，部队由300多人迅速扩大到700余人。随后，与湘粤赣边的红军游击队合编为新四军第一支队第二团第二营及第三营一部。1938年2月15日，队伍从大余县池江圩出发，开赴皖南抗日前线。

     湘赣边红军游击队改编，经历了曲折的过程。1937年11月间，陈毅以中共中央代表的身份赶往九陇山，与湘赣临时省委派驻九陇山的刘培善、段焕竞等会面，向他们宣传解释党的抗日救国纲领。通过他们，又找到了湘赣临时省委驻地及负责人谭余保，传达党中央关于国共合作、组建新四军的指示。由于长年在深山中坚持斗争，对国内、国际形势几乎不了解，谭余保等人尚未得到国共合作的确切消息，对陈毅产生怀疑。陈毅力陈国共合作共同抗日的重要性，谭余保等也派人下山探到确切消息。湘赣边红军游击队在陈毅指导下，决定立即下山改编。11月底，湘赣边红军游击队分别从武功山、九陇山、牛心山、柑子山、杨梅山等地到莲花县垄上村集中，然后开往莲花县神泉进行整编。不久，这支队伍扩大到500余人，奉命改编为新四军第一支队第二团第一营。在营长段焕竞率领下，1938年2月开赴苏皖抗日前线。

     湘鄂赣边红军游击队的改编，是在中共中央指示下，由中共湘鄂赣省委领导进行的。1937年7月，在得到党中央的指示后，中共湘鄂赣省委派人3次与国民党驻军和地方当局谈判，并于8月20日直接与国民党武汉行营谈判。29日，谈判结束，国民党武汉行营下令停止“围剿”红军游击队，承认湘鄂赣红军改为抗日军第一游击支队。从8月底到11月间，战斗在湘、鄂、赣边的各路游击队900余人先后到达湖南平江县嘉义镇集中整编，改编为新四军第一支队第一团，队伍发展到1100余人。1938年2月10日，湘鄂赣边的新四军离开嘉义，经江西、浙江转赴皖南抗日前线。

     皖浙赣边的红军游击队在得到改编的消息后，1938年1月下旬始分批下山，到浮梁瑶里进行整编，番号为江西抗日义勇军第二支队。2月初，陈毅亲到瑶里，宣布部队改编为新四军第一支队第二团第三营，全营550人。2月10日，皖浙赣边的新四军离开瑶里，奉命开赴安徽岩寺。

     闽浙赣边黄道、曾镜冰等领导的红军游击队600多人，先在福建崇安坑口乡集中，后进入江西铅山石塘镇，改编为新四军第三支队第五团，全团1200余人。在团长饶守坤率领下，1938年2月，队伍开赴抗日前线。

     由彭胜标、钟民等率领的汀瑞游击队在陈丕显的指导下，开到瑞金竹马岗集结。1938年2月中旬，汀瑞游击队700多人冲破封锁到达福建龙岩白土，大部分编入新四军二支队。3月1日，该部开赴前线。

     新四军离开江西开赴前线后，在各地留下了一批得力干部，建立了新四军后方留守机构。主要有：新四军驻赣办事处、赣南池江办事处、瑞金办事处、思顺通讯站、吉安通讯站、黄岗留守处、慈化通讯处、修水通讯处、都昌留守处、瑶里留守处、景德镇办事处、贵溪办事处、金资贵留守处、河口留守处、石塘通讯埏。这些留守机构实际上也是当地的党组织机构。