很早很早以前，青龙山下曾经是一片荒草凄凄的平地，一个外地的老和尚走到山脚下，就实在走不动了。他在荒草间坐下来休息时睡着了，竟做了一个梦：梦见佛主说这地方是块风水宝地，要他在这修建一座祥云寺。

    当他醒来时，忽然发现他的弟子们都来了，一问，弟子们说，是他托梦让他们来的。老和尚感到事情很是神奇，就决定留下来按佛主的意思修建一座寺庙。说也奇怪，修寺时，如果发现木材不够，第二天就会有人给送木材，如果发现砖瓦不够，就会有人给送砖瓦。总之，缺什么就会有人给送什么，这样，寺院很快就建成了。

    而最可信的一说。祥云寺是是唐太宗李世民建的。在唐代，佛教备受推崇。据历史记载，李渊在起兵反隋时，就对佛教许下大愿，说当了皇帝，一定大弘三宝。

    李渊当上皇帝后，真就在京师集聚高僧，大弘三宝。唐太宗即位后，也重兴译经。唐太宗征东时打到这里休整部队，天空突然飘来五彩祥云，放射出万道霞光，经久不散，把整个天空都映红了，瑰丽无比。

    五彩祥云在佛教中素有观世音菩萨灵驾之说。因此，谋士献策：“祥云普照必有神仙庇护，这里乃是人杰地灵的祥瑞之地，应该建寺使祥瑞保佑一方百姓”。

    李世民便祈求上苍保佑他征东胜利，发愿胜利后在此青龙山建祥云寺。果然，唐太宗征东胜利，他便践行诺言，在此建祥云寺，并封为皇家寺院。寺院建成后，这朵云彩直扑寺中，就此消失。从此，每年的农历四月初八，远近百里的僧众齐聚寺内，祥云寺这一天也是一年当中最热闹的。据说，人们到祥云寺所求，无不应验。