北魏孝文帝太和元年（477年）置高阳县，县境有高阳山，县治在今高阳里。1957年由叶县、宝丰二县析置平顶山市。平顶山以山峰平顶为名。

    平顶山境域古为豫州地，殷商时期，居住着应、桀部落。西周为武王宗室应侯封地，春秋战国时期，分属韩、魏、晋、郑、楚。秦统一后，分属颍川郡、三川郡和南阳郡；汉改三川郡为河南郡，北部仍属颍川郡。晋析颍川置襄城郡，平顶山属河南郡、襄城郡、南阳郡。南北朝时，先后分属鲁阳郡、襄城郡、南安郡、汝北郡、汝南郡、顺阳郡、汉广郡。

    隋朝时，分属襄城郡和颍川郡。唐代先后分属汝州、许州、襄城郡。宋元起至明清，平顶山境域分属汝州、许州和裕州。民国初年属河洛道、汝阳道，后分属豫南道、豫东道、豫西道。

    新中国成立后，平顶山地区分属洛阳专区、许昌专区。1953年国家大规模开发平顶山煤田，1954年成立平顶山煤矿筹备处，1956年1月，成立中共平顶山矿区委员会，同年3月，成立许昌专员公署平顶山办事处，下辖东高皇、大营、西高皇、井营四个乡。1957年3月26日，经国务院批准，设立平顶山市，属省直辖市，下辖二镇四乡，即诸葛庙镇、西高皇镇和大营乡、东高皇乡、井营乡、姚孟乡。1958年，市区设立五个街道办事处，城市建设开始起步。1960年撤销宝丰县，将原县属行政区域划归平顶山市，次年又恢复宝丰县制，仍归许昌专署领导。

    1964年3月，平顶山市改为平顶山特区，实行双重领导，以煤炭部领导为主，河南省领导为辅。1968年3月，恢复平顶山市，仍为省辖市。1969年设置新华区和卫东区。1971年建立西区。1977年舞钢区划归平顶山市，1979年舞钢区又划归许昌地区管辖。1982年，舞钢区重新划入平顶山市。

    1983年9月，分属许昌地区的鲁山、宝丰、叶县三县划归平顶山市管辖，1986年2月又将许昌地区的襄城县和郏县、洛阳地区的临汝县划归平顶山市。

    1988年6月，撤销临汝县，设立汝州市。1990年9月，撤销舞钢区，设立舞钢市。二市均为河南省计划单列市，由平顶山市代管。汝州市2010年被省政府省发改委确立为河南10个省直管试点县市之一。 并于
2011年6月1日正式施行省直管体制。

    1994年8月10日，民政部批复（民行批[1994]118号）同意将平顶山市郊区更名为湛河区。1996年12月，襄城县又划归许昌地区。1997年12月18日，国务院批准（国函[1997]111号）设立平顶山市石龙区。至此，全市辖四县（鲁山县、宝丰县、叶县、郏县）、四区（新华区、卫东区、湛河区、石龙区），代管汝州市、舞钢市，全市共有99个乡（镇）、25个街道办事处，299个居民委员会、2584个村民委员会。

    2005年，平顶山市乡镇区划调整，撤并5个（原出处为9个）乡镇。舞钢市撤销王店乡，并入尚店镇管辖，尚店镇人民政府驻地不变；撤销安寨乡，并入枣林乡管辖，枣林乡人民政府驻地不变。鲁山县撤销土门乡，并入背孜乡管辖，背孜乡人民政府驻地不变。宝丰县撤销观音堂乡，并入大营镇管辖，大营镇人民政府驻地不变。石龙区撤销南顾庄乡，设立相应街道。撤并后，平顶山市全市有93个乡镇、39个街道；平均每个乡镇人口为5.19万人，平均面积为84.75平方千米。

    2011年，汝州市由省直管。