抗日戰爭時期，堅持蘇北鹽阜、淮海地區抗日鬥爭的主力部隊。它是由八路軍南下部隊8個團和新四軍第6支隊1個總隊發展起來的。
1941年1月皖南事變後，中共中央統一整編新四軍時，將活動於淮北地區津浦鐵路以東、淮海、鹽阜地區的八路軍第5縱隊編為新四軍第3師。黃克誠任師長兼政治委員，彭雄任參謀長，吳法憲任政治部主任，下轄第7、第8、第9旅，共2萬餘人。第3師領導機關成立之初，兼蘇皖軍區。7月，在第1師配合下，粉碎日偽軍1.7萬餘人人對以鹽城為中心的“掃蕩”。9月，第9旅調歸第4師建制，第4師第10旅調歸第3師建制。10月，參加陳道口戰役。1942年春，張愛萍任副師長。10月，開始進行整風，實行黨的一元化領導和精兵簡政。11月，進行佃湖戰鬥，擊潰日偽軍800餘人的進攻；同時，粉碎日偽軍5000餘人對淮海區的“掃蕩”，後在沭陽縣南殲日軍1個中隊大部，拔除據點35個。年底，淮海、鹽阜軍區改為軍分區，成立蘇北軍區，第3師師部兼蘇北軍區機關。
1943年春，日偽軍2萬餘人對鹽阜區進行梳篦式“掃蕩”。第3師以一部兵力，分散帶領地方武裝和民兵襲擾敵人，爾後集中主力連續反擊，先後拔除陳集和八灘等據點30餘處，粉碎日偽軍的大“掃蕩”。
1944年4～5月，第3師進行高溝、楊口戰役。5月，克濱海縣北陳傢港。8月，克射陽西北通洋港。9月，第7旅赴淮北配合第4師西進作戰；在宿遷東南日軍重要據點林宮渡戰鬥中，全殲日軍金井中隊。12月，第3師在蘇北痛擊偽第2方面軍。1945年2月，該師攻克葉圩子，殲日軍1個小隊。3月，第10旅兼淮海軍分區組成獨立旅赴皖中，配屬第7師堅持皖江抗日根據地。4月，解放阜寧縣城。大反攻開始後，第7、第8旅先奉命西進淮南津浦鐵路兩側，第10旅進到高良澗（今洪澤縣城）待機，後回師蘇北發動兩淮戰役，攻克淮陰、淮安等城鎮。獨立旅在皖中攻克無為縣城，9月北返淮海歸建。
第3師在抗日戰爭中，殲敵6萬餘人。至大反攻前，主力部隊發展到2.8萬餘人，組建地方武裝2.2萬餘人，勝利完成堅持蘇北抗日鬥爭的任務。在戰鬥中，師參謀長彭雄、第8旅旅長田守堯光榮殉國；第7旅第19團第4連82人在劉老莊戰鬥中壯烈犧牲。1945年9月，第3師主力4 個旅和3個獨立團共3.7萬人，由師長兼政委黃克誠和副師長劉震、洪學智率領進軍東北，參加解放戰爭。