中岳庙的前身为太室祠。据《山海经 中山经》载：先秦之世，已立有太室之祠。秦统一后，诏令祠官向太室、恒山、秦山等名山祠庙供奉牛犊、 币及脯酒等。西汉时，武帝刘彻于元封元年（公元前110年）三月游幸中月太室山，有山呼万岁之纪，遂令祠官加封太室祠 ，禁伐山麓草木，并以山下三百户赐为奉邑，名"嵩高邑"。东汉安帝元初五年（118年），又在祠前建造"中岳太室阳城神道阙"和石翁仲雕像。北魏三次迁建此庙，并留下了珍贵的"中岳嵩高灵庙之碑"。唐、宋之际，中岳庙建设规模、地位达到了鼎盛时期。唐武则天垂拱四年（688年）七月改嵩山称"神岳"，封岳神为"天中王"，配"天灵妃"。天授元年（690年）九月，武则天改国号为周，天册万岁元年（695年）腊月，封禅神岳，改元"万岁登封"，尊岳神天中王为"神岳天中皇帝"，天灵妃为"天中皇后"。唐玄宗李隆基开元年间（713-741年）中岳庙定位今址，后无大改。北宋建国后的第四年（963年），太祖赵匡胤便令祠官为岳神制作衣冠剑履；太宗赵匡义太平兴国八年（983年），赠五岳封号，尊中岳之神为"中天崇圣帝"，帝后封"正明"。真宗赵恒大中祥符六年（1013年）始，用两年时间增修庙中殿宇、碑楼等850间，塑各神像、装修新旧壁画470所，并为县令兼庙令，岳庙规格之高可由此想见。经过唐、宋的大力整修，中岳庙已形成了"崇墉缭绕，屹若云连"的壮观宏伟的规模。金、元、明、清历代也不断中岳庙加以维修，建筑虽随时代的不同有风格是的变化，但宏伟的建筑群格局仍十分可观。