1939年11月,第1及第2支队合并组成江南指挥部,第4团则北渡长江,组成苏皖支队。1940年7月江南指挥部北上,改为
新四军苏北指挥部,2团改为第2纵队2团,苏皖支队改为第3纵队3团。1941年1月“
皖南事变”后,苏北指挥部改编为
新四军第一师,这两个团分别改为第2旅4团和第3旅7团。1943年,4团并入苏南的16旅,改为48团。1944年12月
粟裕亲率第1师主力3个团(3旅7团等)从苏北挺进苏浙皖边,于1945年2月组成
新四军苏浙军区,第16旅和南下部队分别编为第1和第3纵队。
抗日战争胜利后,新四军苏浙军区部队于1945年11月北撤,原第1纵队改为
华中野战军第6纵队。1946年5月再与
苏中军区独立旅合编为第6师,辖第16(原6纵队)、第18旅(原独立旅)。10月,
山东野战军第7师20旅(前身为
新四军第七师19旅57团、皖南支队)改为华中野战军第6师17旅。1947年1月成立
华东野战军,第6师改为野战军第6纵队,司令员
王必成,政委
江渭清,各旅分别改为第16、第17、第18师。该部在全歼国民党军整编第74师的
孟良崮战役中建立了突出的战绩,纵队特务团攻占74师师部,击毙中将师长
张灵甫。1947年9月随陈粟大军挺进豫皖苏,与刘邓、陈谢大军共同经略中原。参加完
淮海战役后,第6纵队于1949年1月改编为解放军第24军,属第3野战军第8兵团,军长王必成,政委
廖海光,各师分别改为第70、第71、第72师。此后该军参加了
渡江战役、解放长山列岛和舟山群岛的战斗。
1952年9月,第24军参加抗美援朝战争,原属第25军的第74师(前身为
淮南军区第5旅,后改为华东野战军第7纵队20师)调入该军,第71师调出。1953年春夏,在部队开展的冷枪冷炮杀敌竞赛中,第72师214团8连战士
张桃芳用436发子弹毙伤敌214名,荣立特等功,获二级战斗英雄称号。7月该军参加了金城反击战(
金城战役),取得了抗美援朝战争的最后胜利。
第24军于1955年10月归国,属
北京军区,驻防河北承德,部署在京郊和唐山一线,拱卫北京。1968年第70师改为
北京卫戍区警卫第3师。1969年12月全军重排番号,第74师改称第70师,并重建第71师(后撤销)。