1939年11月，第1及第2支队合并组成江南指挥部，第4团则北渡长江，组成苏皖支队。1940年7月江南指挥部北上，改为新四军苏北指挥部，2团改为第2纵队2团，苏皖支队改为第3纵队3团。1941年1月“皖南事变”后，苏北指挥部改编为新四军第一师，这两个团分别改为第2旅4团和第3旅7团。1943年，4团并入苏南的16旅，改为48团。1944年12月粟裕亲率第1师主力3个团（3旅7团等）从苏北挺进苏浙皖边，于1945年2月组成新四军苏浙军区，第16旅和南下部队分别编为第1和第3纵队。

抗日战争胜利后，新四军苏浙军区部队于1945年11月北撤，原第1纵队改为华中野战军第6纵队。1946年5月再与苏中军区独立旅合编为第6师，辖第16（原6纵队）、第18旅（原独立旅）。10月，山东野战军第7师20旅（前身为新四军第七师19旅57团、皖南支队）改为华中野战军第6师17旅。1947年1月成立华东野战军，第6师改为野战军第6纵队，司令员王必成，政委江渭清，各旅分别改为第16、第17、第18师。该部在全歼国民党军整编第74师的孟良崮战役中建立了突出的战绩，纵队特务团攻占74师师部，击毙中将师长张灵甫。1947年9月随陈粟大军挺进豫皖苏，与刘邓、陈谢大军共同经略中原。参加完淮海战役后，第6纵队于1949年1月改编为解放军第24军，属第3野战军第8兵团，军长王必成，政委廖海光，各师分别改为第70、第71、第72师。此后该军参加了渡江战役、解放长山列岛和舟山群岛的战斗。

1952年9月，第24军参加抗美援朝战争，原属第25军的第74师（前身为淮南军区第5旅，后改为华东野战军第7纵队20师）调入该军，第71师调出。1953年春夏，在部队开展的冷枪冷炮杀敌竞赛中，第72师214团8连战士张桃芳用436发子弹毙伤敌214名，荣立特等功，获二级战斗英雄称号。7月该军参加了金城反击战（金城战役），取得了抗美援朝战争的最后胜利。

第24军于1955年10月归国，属北京军区，驻防河北承德，部署在京郊和唐山一线，拱卫北京。1968年第70师改为北京卫戍区警卫第3师。1969年12月全军重排番号，第74师改称第70师，并重建第71师(后撤销)。