在抗日战争之初，红军部队改编为国民党第十八集团军，蒋介石给了三个师六个旅十二个团的编制，但是红军部队完全不止这几万人，因此，还有其他红军部队没有归建八路军部队，明面上不属于国民党的战斗序列，其实身份还是八路军领导的抗日武装部队。

随着抗日战争的进行，八路军也在努力发展抗日武装，在1937年7月开始，山东党组织便在组建抗日武装，建立抗日根据地，很快就拉起了一支多达四万多人的八路军部队，但是当时没有编制，为了抗战大局，军委决定成立八路军山东纵队，因此，这个特殊的八路军纵队应运而生。

八路军山东纵队的总指挥名叫张经武、副总指挥名叫王建安，黎玉是政委，下辖第一至第八支队以及挺进支队和南进支队，总兵力有五万人，这在当时，总兵力都不输八路军每一个主力师，张经武足以当师长，1941年后，山东纵队被划到115师，次年改编为山东军区。

但是，山东纵队这个番号仍旧存在了许多年，差不多自成立到取消番号有六七年的时间，山东纵队在历史上的名气很高，总指挥张经武是湖南人，一开始，张经武在国军中当副营长，但遭到兵败之后被收编，于是他又成了桂系军的副营长，而蒋介石为了掌握这支部队，将从上到下的指挥官换了一个遍，于是张经武就被免职，他副营长一职由黄埔生顶替。

自此以后，张经武不再为国军效力，而是找到了红军，投奔了贺龙，红军时期，张经武最高担任师长，抗日战争时期，张经武一直在山东，曾经和韩复榘针锋相对，迫使韩复榘释放了逮捕的60多名党员，张经武和首长们关系很好，很受重视，因此，他一手组建山东纵队后，总指挥就由他担任，建国后被授予中将军衔。

副总指挥王建安的名气很大，曾多次和许世友搭档，红军时期就已是军政委，他挽救了许军长，对他有大恩，抗战时期，和许军长搭档打红了胶东半边天，解放战争时期已是华野第八纵队司令兼政委，建国后被授予上将军衔，曾任多个军区副司令。