抗日戰爭時期，堅持淮南地區抗日鬥爭的主力部隊。它是由新四軍第4支隊發展起來的。
1941年1月皖南事變後，中共中央統一整編新四軍時，將活動於淮河以南、長江以北、津浦鐵路兩側地區的新四軍第4、第5支隊及江北遊擊縱隊編為第2師。張雲逸兼師長，鄭位三任政治委員，羅炳輝任副師長，周駿鳴任參謀長，郭述申任政治部主任（未到職），下轄第4、第5、第6旅和津浦路東、路西兩個聯防司令部，全師共1.8萬餘人。同年春，第2師在津浦鐵路兩側地區區接連取得反“掃蕩”的勝利。隨後，第5旅參加鞏固、發展皖東北抗日根據地的鬥爭。10～11月，第2師在參加江蘇泗陽縣西北陳道口自衛反擊戰後，又在安徽定遠縣以南大橋等地進行反擊作戰，粉碎國民黨頑固派軍隊的進攻。1942年2月，成立淮南軍區。是年，為戰勝嚴重困難，實行黨的一元化領導和精兵簡政。1943年春，第2師師部兼淮南軍區領導機關。此時，羅炳輝任師長，譚震林任政治委員，韓振紀任參謀長，蕭望東任政治部主任。津浦鐵路路東、路西聯防司令部改為路東、路西軍分區，由第5旅兼路東軍分區，第6旅兼路西軍分區，第4旅為機動部隊。第2師積極開展反蠶食鬥爭，給日偽軍以沉重打擊，開辟瞭揚州以西甘泉地區。旋即開展整風和大練兵運動，提高瞭部隊戰鬥力。秋季，撤銷第6旅，第4旅兼路東軍分區，第5旅改兼路西軍分區。
1944年，第2師對日偽軍開展攻勢作戰。11月，在定遠西南占雞崗地區重創進犯的國民黨頑固派軍隊。隨後重建第6旅。1945年春，國民黨頑軍再犯津浦路西抗日根據地，第2師在定遠以南王子城、黃疃廟地區予以痛擊。此後，在津浦鐵路路東又粉碎日偽軍打通淮河交通線的企圖。8月，攻占六合、定遠等6座縣城和劉府等重鎮，並爭取偽警衛第3師3000餘人於六合地區反正。日本投降後，第2師破擊津浦鐵路南段，攻克擔子、烏衣等車站。9月，師部奉命率第4、第5旅北上魯南，與第4師第9旅組成新四軍第2縱隊，在津浦鐵路中段作戰。原淮南軍區部隊編為獨立旅和第3、第4軍分區(兼6旅)。以後，第5旅奉命返回淮南，與第6旅、淮南獨立旅組成新2師，參加解放戰爭。
第2師在抗日戰爭中，殲敵2萬餘人。到大反攻前，主力部隊發展到3萬餘人，組織地方武裝1萬餘人，勝利地完成瞭堅持淮南地區抗日鬥爭的任務。