据《史记·高祖本纪》记载,刘邦发迹前,在家乡江苏沛县任泗水亭亭长。一次,他带一班劳役为秦始皇修皇陵,行至芒砀山时,他喝得酩酊大醉,在山泽之间赶路。忽有人报:“前有大蛇挡道,请回!”刘邦道:“壮士行,何畏!”于是拔剑将大蛇斩为两段。秦始皇常说:“东南有天子气”,刘邦自疑,于是隐藏在芒砀山泽岩石之间。刘邦之妻常常抱着孩子去找他,一找便能找到,刘邦感到很奇怪。
芒砀山周围群众根据历史记载和民间传说,掺杂一些迷信因素,硬说碑面上的人像是汉高祖和吕后显灵。而信息残留说,是气功师的看法。他们说,世上有显形物质和隐形物质,隐形物质是一种高境界、高力度的物质,它可以超越时空,既可以穿透历史,又可以穿透物理空间而存在。