為增強華中抗日力量，經中共中央批準，中共中央中原局於1940年8月將進入隴海路以南、淮河以北、津浦路以東皖東北地區的八路軍第4縱隊第2旅、第4旅第7團以及蘇魯豫支隊、隴海南進支隊，與原在該地區的新四軍第6支隊第4總隊統一整編為八路軍第5縱隊。黃克誠任司令員兼政治委員。下轄第1、第2、第3支隊，共9個團，近2萬人，歸中共中央中原局指揮。8～9月，第5縱隊主力東渡運河，打退瞭日軍和國民黨頑固派軍隊的多次進攻，開闢瞭淮海區抗日根據地。與此同時，留在皖東北地區堅持持抗日鬥爭的第5縱隊第2支隊一部，配合新四軍第5支隊開辟瞭淮安、寶應地區抗日根據地。10月初，第5縱隊主力挺進鹽城、阜寧地區，配合新四軍開辟蘇北抗日民主根據地。同月10日，與新四軍蘇北指揮部所屬部隊會師於東臺以北之劉莊、白駒鎮一線地區。此後，隸屬於華中總指揮部。1941年皖南事變後，第5縱隊改編為新四軍第3師。