1944年6月，日軍結束河南戰役，轉兵向湖南、廣西進攻。中共中央針對該地區日軍兵力薄弱的情況，指示新四軍第5師向河南發展，協同友鄰部隊完成“綰轂中原”的戰略任務，溝通陝北、華北和華中的聯繫。據此，第5師於7月以10個連和一批幹部，組成由黃林為指揮長的豫南遊擊兵團和任質斌為書記的中共豫南工作委員會，從信陽東北陡溝附近渡過淮河，突破國民黨豫南挺進軍等部的阻擊向北發展。於8月29日在胡沖店襲殲正陽縣保安團，俘團長以下600餘人。9月下旬，豫南遊擊兵團越過平漢鐵路路西進，在確山縣西南爬頭寨殲土匪武裝500餘人。10月下旬，第5師為配合八路軍第359旅南下支隊南進，又從主力中抽調一部兵力擴充遊擊兵團，相繼在遂平縣母豬峽、舞陽縣尹集和西平縣合水鎮等地，殲日偽軍和國民黨頑固派軍隊2800餘人。11月初，豫南遊擊兵團和中共豫南工委分別改稱河南挺進兵團和中共河南工委。至1945年4月，在信陽、舞陽、汝南、泌陽間創建瞭縱橫近100公裡的敵後根據地，成立瞭7個縣的抗日民主政權。一度溝通瞭鄂豫皖抗日根據地與華北、豫皖蘇抗日根據地的聯系，為根據地間的配合作戰創造瞭有利條件。