传说阳春三月初三，春暖花开，汉高祖刘邦偕新贵妃薄姬一行春游，中午时分，刘邦等人热渴难耐，令随从寻水。随从在白云山脚下发现了一股泉水，刘邦饮之，顿觉甘甜爽口，燥气尽消，脱口赞道：“真乃妙水也，妙水也！”该泉后来便称为妙水。公元25年，刘秀推翻王莽政权，建立东汉，定都洛阳，把今临汝镇一带辟为“南囿”。公元58年，汉明帝继位。这时佛教已由西域传入中原，汉明帝梦佛求经，建立白马寺。但因白马寺不依山傍水，不是游玩的好地方，只能作藏经之地。于是便在“南囿”依山傍水的妙水涌泉上游建起一所寺院，作为皇家临时歇脚之地，这就是妙水寺。妙水寺出土的残碑记载：“盖闻妙水寺其来远矣，肇自汉明帝。”

    另据传，在紧靠白云山的银洞山悬崖峭壁上有个银洞，内有水潭，深不可测，有人把棒槌丢入潭内，第二天却在寺内的清水池中发现。妙水寺由此得名。