我军军区按级别划分源于解放战争后期。1948年11月1日，中央军委发出通令，对全军的组织编制、番号作了统一规定，其中军区分为一级军区（即大军区）、二级军区、三级军区和军分区，实行四级军区体制，即在中央局相应的区域设一级军区，在中央分局相应的区域设二级军区，在省和行政区设三级军区，在地（专）区设军分区。
各级军区军以所在区域的地区或地点命名。当时一级军区共5个，即西北军区、中原军区、华东军区、东北军区、华北军区；二级军区有3个，即晋绥军区、豫皖苏军区、冀察热辽军区。随着解放战争形势的发展新的军区不断建立，原有的军区也进行了调整。
至1950年7月，全国共有6个一级军区：东北、华北、华东、中南、西南、西北；18个二级军区：山西、绥远、内蒙古、山东、浙江、福建、河南、湖北、湖南、江西、广东、广西、川东、云南、贵州、甘肃、陕西、新疆（1951年12月又成立了西藏军区）；25个三级军区：辽东、辽西、河北、平原、察哈尔、胶东、渤海、鲁中南、苏北、苏南、皖南、皖北、赣西南、湘西、海南、川南、川西、川北、西康、陕南、喀什、迪化、伊犁、宁夏、青海；4个省军事部（军级）：热河、吉林、松江、龙江。
此时的一级军区与中央局和大行政区（军政委员会）的区域划分一致；但二级军区已不再是中央分局所在区域，二级军区和三级军区已没有明显区别。二者在隶属关系上是并列的，在级别上则相差一级。二级军区领导机关大多由兵团机关兼，如许光达兵团（第二兵团）兼甘肃军区，杨得志兵团（十九兵团）兼陕西军区，杨勇兵团（第三兵团）兼贵州军区，陈赓兵团（第四兵团）兼云南军区，叶飞兵团（第十兵团）兼福建军区，萧劲光兵团（十二兵团）兼湖南军区，等等；三级军区领导机关大都由军机关兼或改编，如第一军兼青海军区，第二军兼喀什军区，第十军兼川南军区，六十军兼川西军区，六十二军兼西康军区，六十五军兼宁夏军区，等等。各级军区的编制级别为：一级军区（方面军）、二级军区（兵团）、三级军区（军）、军分区（师）。二级军区和三级军区即都隶属于一级军区，军分区隶属于二级军区和三级军区。到1954年，经调整合并，仅保留山东、福建、云南、西藏、新疆5个二级军区，其他省军区均为三级军区。1955年7月，国务院、中央军委决定取消按一、二、三级等级划分军区的做法，统一改称军区、省军区。此后，全军军区由原来的四级体制改为军区（大军区）、省军区、军分区三级体制。