传说，三皇姑和祖师爷一心修炼，后来皇上旨准给他俩盖庙。
 

    两人各自选择风水宝地建立庙堂，祖师爷过宝丰，看中了今天的香山寺这座山，非常喜欢就把随身带的一把宝剑插到山上作为记号。
 

    这时三皇姑还没有找到地方。她听别人说祖师爷选的香山寺地方很好，她想找祖师爷，叫他让给她，可又怕人家不肯，就生一计。偷偷去到香山寺，找到祖师爷的宝剑，拔出，然后挖了个坑，把自己的一只绣鞋搁里头，再拿剑插穿绣鞋，用土封固，看看没痕迹才走了。
 

    三皇姑找到祖师爷说：“姐夫，你找到好地方了没有”？祖师爷说：“找到了，在宝丰东南一座四周低中间高的山上，我仔细看了，那地方是中州最好的地方”。三皇姑故作惊讶道：“那是我看中的地方呀，怎么你也看中了？”祖师爷说：“好地方咱俩都能看到，不过咱们口说无凭，我可有记号在山上。”三皇姑说：“你有啥记号？”祖师爷说：“我在山顶正中心插了一把宝剑为证。”三皇姑说：“我有一只绣鞋也在山顶正中心埋着为证”。祖师爷不信，便和三皇姑一同去到山上，祖师爷抽出了宝剑，三皇姑往下一扒拿出了那只绣鞋。三皇姑说：“姐夫，咱俩的记号虽在一个地方，可我的鞋在下边，这证明我比你来的早吧？这地方按先来后到该归我吧？”祖师爷一见三皇姑扒土时地虚，就知道三皇姑捣了鬼，又不好意思和她争，只好说：“算你到的早，我再找地方去。”祖师爷一气之下远离三皇姑，跑到江西，找个地方建了庙堂，就是现在南大厅。三皇姑在这里建了庙院，就是现在的香山寺。