传说，元末明初年间群雄并起，天下战乱，荒尸遍野，民不聊生，再加上黄水泛滥成灾，中原大地，土地荒芜，人烟稀少。后来战乱平息，洪武帝颁一道圣旨，令人烟稠密的山西洪洞县移民中原。洪武三年，南乐一带地方连年风调雨顺，百业兴旺。百姓们把安居乐业的功绩归功于神灵－－西天佛祖的保佑，就在黄河堤上修了一座“灵佛寺”，每逢初一、十五，四方百姓都来朝谒，常年香火不断。有一天，骠骑将军霍贯道同嘉靖皇帝讨伐判军失利，骑两头驴子路过寺下。由于驴子一天没吃到草料，望见寺院以为是村落就“灰灰”叫唤，惊得骠骑将军捏住驴的鼻子，望寺院祷告：“请佛祖保佑我主平安通过，不要让驴子叫唤，以免惊动寺东张果屯村驻扎的叛军。”说罢朝寺的方向拜了一拜，果然驴子止住了叫唤，默然迈开大步，悄悄过寺而去。
  

    后来，百姓们听说了，就赶着或骑着驴子到寺内朝谒。将驴子拴在山门外的古松下，驴子们都如同哑了一般，默默地打瞌睡，就是再调皮的叫驴驹子，只要从寺下经过，它们都老老实实悄然而去。