据史志记载,东汉延熹八年(公元165年),汉桓帝刘志派中常侍管霸前来创建,始名老子庙。唐祖武德三年(公元620年),李渊为了便于对天下的统治,抬高家族地位,就听从吉善行的建议,认老子为祖宗,派人在汉老子庙的基础上予以扩建,规模如京城王宫,做为皇室家庙。乾封元年(公元666年),唐高宗李治追封老子为“太上玄元皇帝”,并增建“紫极宫”、“太清楼”,改庙名为“玄元庙”。到武则天光宅元年(公元684年),又册封老子母为“先天太后”,在汉李母庙的基础上,扩建成洞霄宫,位置在太清宫北一里。至玄宗李隆基时,太清宫又有增建,规模达到鼎盛,占地八顷七十二亩,周围四十里,宫内建筑排列有序,琼楼玉宇,金碧辉煌。太清宫称前宫,洞霄宫称后宫。前宫祀老子,后宫祀李母。两宫中隔一河,河上有桥。河名“金水”,桥称“会仙”。
唐开元年间,玄宗皇帝又亲朝太清宫,为老子上尊号“大圣祖高上金阙天皇大帝”,改庙名为太清宫,又亲手为五千言《道德经》作注,刻石立于太清宫。该碑至今犹存,和太清宫及其所余历代碑刻一起,于八六年列为河南省重点文物保护单位,于2001年又升格为全国重点文物保护单位。有唐一代,皇室常驻五百军士镇守太清宫。 唐末黄巢起义,太清宫毁于兵事。宋真宗年间重建,又拨国库款重修太清、洞宵二宫,规模比唐时有加。重修时并立有“大宋重修太清宫之碑”、“先天太后之赞碑”、“会真桥记”等碑刻,碑刻至今尤存。重修后,真宗皇帝亲率满朝文武来太清宫朝拜。