抗日戰爭時期,在中國共產黨的領導下,以山東人民抗日武裝起義部隊為基礎組建的、堅持山東抗戰的一支人民武裝。

  1937年10月,日軍侵入山東,中共山東省委於同年冬起先後領導瞭徂徠山、黑鐵山、天福山等地人民抗日武裝起義,建立瞭10多支遊擊隊,開展抗日遊擊戰爭。為統一領導山東各地的抗日武裝,1938年12月27日,經中共中央批準成立瞭八路軍山東縱隊,張經武任指揮,黎玉任政治委員,王彬任參謀長,江華任政治部主任。此後,各地抗日遊擊擊隊分別整編為山東縱隊第2、第3、第4、第5、第6、第8、第9、第12支隊和挺進、隴海南進支隊,魯南人民抗日義勇隊第1總隊(亦稱直轄第4團),臨(沂)郯(城)獨立團。上述部隊分佈在魯南、魯中、泰(安)西、清河、膠東、濱海地區,開展遊擊戰爭,創建抗日根據地。1939年1月,挺進支隊與進入微山湖西的八路軍第115師第685團合編為蘇魯豫支隊。歸第115師建制。2~5月,山東縱隊貫徹執行八路軍總部整軍訓令,將所屬部隊整編為第2、第3、第4、第5、第6、第8支隊和隴海南進支隊,以及特務團、直轄第4團等,共2.4萬餘人,另地方獨立營團1萬餘人。此後,山東縱隊同先後進入山東的第115師並肩作戰,鞏固與擴大瞭各抗日根據地。9月,第8支隊改為第1支隊。10月,東進抗日挺進縱隊之津浦支隊調歸山東縱隊建制,編入第2支隊;直轄第4團改稱蘇魯支隊。

  1940年2月,以山東縱隊特務團為基礎組建瞭第9支隊,進入濱海區的日照、莒縣一帶開辟抗日根據地。3月,第6支隊、蘇魯支隊調歸第115師建制。8月,隴海南進支隊編入八路軍第5縱隊。9月,山東縱隊將所屬部隊整編為第1、第2、第3、第5旅,第1、第4、第5支隊和特務第1、第2團,共5.1萬餘人。

  1941年,山東日軍推行“治安強化運動”,對抗日根據地實行封鎖、“蠶食”和殘酷的“掃蕩”。山東國民黨頑固派軍隊配合日偽軍夾擊八路軍。山東縱隊與第115師相互配合,依靠人民群眾,廣泛開展遊擊戰爭,采取“敵進我進”的方針,展開瞭反“掃蕩”、反“蠶食”、反封鎖的作戰,並打退國民黨頑軍的進攻,在極端艱苦的條件下,堅持瞭各抗日根據地的鬥爭。8月,組建瞭第4旅,並將第1支隊和縱隊特務第1、第2團編入第1旅,第4支隊改為魯中軍區第1軍分區。同月,以山東縱隊特務營為骨幹組建瞭蒙山支隊。11~12月間,山東縱隊同第115師在沂蒙山區粉碎瞭日偽軍5萬餘人的大規模“掃蕩”。1942年,根據中共中央軍委關於實行主力軍地方化的指示,山東縱隊先後進行整編:縱隊機關改為山東軍區,黎玉任政治委員,王建安任副司令員,江華任政治部主任;第1旅調歸第115師改為教導第1旅;縱隊機關一部組建為魯中軍區,第2旅機關改為濱海獨立軍分區,第3旅機關改為清河軍區,第4旅機關與魯中第1軍分區合並,第5支隊機關改為膠東軍區,其各旅(支隊)所屬部隊歸屬所在軍區和軍分區;第5旅歸山東軍區建制。是年,上述部隊粉碎瞭日偽軍多次“掃蕩”和國民黨頑軍的進攻,實行精兵簡政,參加抗日根據地建設。

  1943年3月,根據中共中央《關於統一抗日根據地黨的領導及調整各組織間關系的決定》,山東軍區與第115師合並,成立瞭新的山東軍區,羅榮桓任司令員兼政治委員,黎玉任副政治委員,蕭華任政治部主任,轄魯南、魯中、清河、冀魯邊、濱海、膠東6個軍區,第115師和原山東軍區所屬各部隊統一整編為13個主力團,一部充實地方軍。

  山東縱隊從成立至1943年3月,共作戰4500餘次,殲日偽軍9萬餘人,部隊發展至6萬餘人,對開辟、鞏固、擴大山東抗日民主根據地作出瞭重大貢獻。