蒋姑山因主峰顶建有蒋姑神庙而得名。清道光《直隶汝州志》载:“蒋姑山(又名焦古山),形如翠屏,壁立千仞,松竹蓊郁,有水环抱。山巅座蒋姑庙,山角藏罗圈寺。”蒋姑奶奶的历史无从查考,只是传说她曾在此山巅居住,信仰她的弟子达数万人,分散居住在方圆300里内,每逢有事,通知十分不便。于是,蒋姑奶奶就在此山上建了一个擂鼓台,一旦有事,只要一击鼓,弟子们就能听到鼓声,很快赶来。千百年后,擂鼓台就成了现在的形状:上方一块大圆石,状如鼓;下面有几根巨大的石柱支撑此石。似鼓声震天,气冲霄汉。到此观光的游人对其奇特的造型和动人的传说赞叹不已。
另据传,汉光武帝刘秀被王莽追杀到蒋姑山,眼看要被追上,刘秀就让人放火点燃了茂密的山林,阻挡王莽,自己继续往前跑。烈火整整烧了三天三夜,刘秀终于甩掉了王莽,保住了性命,而蒋姑山被烧成了一片焦土。因此,蒋姑山又称焦古山。