太初宫位于函谷关东城门右侧。传说，尹喜迎候老子到函谷关，行以师礼，恳求老子为其著书，老子便在此写下了《道德经》五千言。这部蕴涵丰富的著作对后世影响很大（也有人认为是后人托名之作）。为了纪念这件事，后人便在老子著经的地方修筑了太初宫，曾是一座道观。太初宫为殿宇式古典建筑。殿脊和山墙檐边上塑有麒麟、狮、虎、鸡、狗等珍禽异兽，神形兼备。殿顶飞梁纵横，椽檩参差，虽然屋架复杂，但却自成规矩，殿宇宽阔，中无撑柱。史载太初宫始建于西周。现存太初宫主殿建于唐以前，元、明、清各代均有修茸。庙院现存石碑两通，一通立于元大德四年，一通立于清顺治年间，上面都记载着老子骑青牛过函谷关的故事。

    从文献记载来看，遗址位于南京市羊皮巷一带。吴大帝黄龙元年（二二九）秋，孙权将都城从武昌搬回建业（今南京），住在原“讨逆将军”孙策的府第里，取名“太初宫”。赤乌十年（二四七），孙权把旧将军府全部拆掉，改建太初宫。改建后的太初宫，周围有五百丈，南面开有五个宫门。其中正门叫做公车门，东、西、北三面各开一门，分别叫做苍龙门、白虎门和玄武门。正殿称为“神龙殿”。太初宫东面和北面为“苑城”，东吴皇家花园和皇宫卫队的营地，可容纳三千多名贵族子弟同时在里面骑马操练。太初宫西面为“西苑”，是专供皇太子用的花园。