抗日戰爭時期，堅持淮北地區抗日鬥爭的主力部隊。它是由新四軍第6支隊和八路軍南下部隊各一部發展起來的。
1941年1月皖南事變後，中共中央統一整編新四軍時，將活動於隴海鐵路以南、淮河以北、津浦鐵路兩側地區的八路軍第4縱隊編為新四軍第4師。彭雪楓任師長兼政治委員，張震任參謀長，蕭望東任政治部主任（1943年春由吳芝圃繼任），下轄第10、第11、第12旅和肖縣獨立旅，全師約1.5萬人。同年春，國民黨頑固派以9個師計10萬餘人，，向豫皖蘇邊的蒙城、永城地區進攻，第4師被迫自衛反擊，由於眾寡懸殊，遭受較大損失。5月，第4師留一部於津浦路西分散堅持遊擊戰，主力轉至津浦鐵路以東地區整訓。6月，撤銷第12旅；同時將各旅的騎兵集中編為師屬騎兵團，以增強突擊力量。7月，鄧子恢任師政治委員。9月，第10旅調歸第3師建制，第3師第9旅調歸第4師建制。11月，成立淮北軍區。
1942年，該師實行精兵簡政，發展生產，積極參加抗日根據地建設。冬季，經33天浴血奮戰，粉碎瞭日偽軍對抗日根據地的大規模“掃蕩”。隨後，第4師師部兼淮北軍區領導機關。1943年3月，第4師主力在江蘇泗陽縣城西南山子頭自衛反擊戰役中，俘國民黨魯蘇戰區副總司令兼江蘇省主席韓德勤以下1000餘人，挫敗瞭國民黨頑固派軍隊的進攻。夏、秋間，組織武工隊深入敵後，開展遊擊活動，積極進行反蠶食、反偽化鬥爭。同時開展整風運動，進行軍政訓練，增強瞭部隊戰鬥力，渡過瞭困難時期。
1944年春，對日偽軍開展攻勢作戰，攻克據點50餘處，收復睢寧、靈璧、泗縣間廣大地區。8月，主力奉命向津浦鐵路以西河南省敵後進軍，在第3師第7旅等部配合下，殲日偽軍和國民黨頑固派軍隊1.3萬餘人，建立8個縣政權，基本上恢復瞭原豫皖蘇邊區抗日根據地。9月11日，彭雪楓在河南夏邑縣八裡莊戰鬥中犧牲。張愛萍接任師長，韋國清任副師長。1945年春，在津浦鐵路以東繼續向靈璧、睢寧間的日偽軍發動攻勢，連克據點20餘處；在津浦鐵路以西攻克宿縣西南的任集、界溝等據點，殲偽軍第15師大部。7月，取得睢寧戰役的勝利。8月，攻占永城、雙溝等城鎮。日本投降後，收復徐州附近之曹村、大許傢、曹八集等車站和靈璧、泗縣、肖縣等城，並爭取永城縣西酂城偽第18師全部4000餘人反正。不久，第9旅北上魯南，編入新四軍第2縱隊，第11、第12旅編為華中野戰軍第9縱隊，參加解放戰爭。
第4師在抗日戰爭中，殲敵6萬餘人。到大反攻前，主力部隊發展到3萬餘人，地方武裝2萬餘人，勝利地完成瞭堅持淮北地區抗日鬥爭的任務。