据传寺内所奉三皇姑为楚庄王之三女妙善。初在县城东部白雀寺出家，继在香山寺修成正果，称大悲观世音菩萨，亦称千手千眼佛。浙江普陀山有普陀寺者，为观世音菩萨显灵说法道场。故白雀寺、香山寺、普陀寺遂传为佛教圣地，而突出宗教色彩的真香山唯独于此。

    香山寺座北向南，占地约6万平方米。寺后悬崖峭壁、怪石嶙峋，寺前坡势稍夷，自山腰四大天王殿至山门间，有石阶120级。寺院建筑，规模宏大，布局合理。八角九级观音大士塔，雄踞中央。该塔始建于北魏，重建于北宋熙宁元年（公元1068年）。1986年被河南省人民政府公布为省级重点文物保护单位。此塔平面呈八角形，高33米，塔身外壁第二、第三有壁龛数面，第二和第五层外壁拱券门，其余各层均为素面青砖平砌而成。由下而上每层高度递减，呈八棱锥体，每层用叠涩砖砌塔檐，结构坚固、雄伟，造型端庄秀雅。洁白的塔身沐着艳阳，益发显得挺拔、飘逸。塔券洞内有香山大悲菩萨传碑一通，碑高2.22米，宽1.46米，碑文49行，满行78字，楷书，由北宋通议大夫同知枢密院事蒋之奇撰文，翰林院大学士知制兼侍读，蔡京书丹。碑文记述观音菩萨妙善出家修练得道的神话故事。该碑在国内外佛学界有较大的影响，1976年曾应英国牛津大学特邀展出该碑之拓片。

    寺内碑碣林立，有明代崇祯元年戊辰科状元书画名家刘若宰书写的“重修大悲观音大士塔记”狂草碑一通，有金代唐国公主附马所立的“重建汝州香山观音禅院记”碑一通（残）。寺西南隅塔林，占地40余亩，有历代僧尼舍利砖塔47座，石塔30余座。

香山寺自东汉末建，历经宋、金、元、明、清、屡遭战乱，几经破坏，但寺院随废随兴，香火未绝。北宋始，曾有数朝天子敕赐重建。金代唐国公主曾偕同附马来此参拜，并捐巨资；明代朝廷再兴古寺，皇帝亲自题写“香火普门神寺”匾额；清政府又加以修葺与扩建。香山寺的鼎盛时期，海内高僧俱临禅门，早晚钟鼓齐鸣，四时法事不歇。

    香山寺在文化大革命中惨遭洗劫，除观音大士塔及少数碑碣外，余皆无存。改革开放后，经政府拨款并僧俗捐助，先后加固了观音大士塔，重建了大悲正殿、大雄宝殿、观音殿、地藏王殿、伽蓝殿、祖师殿、包公殿、九老阁、药祖殿、天王殿等殿堂、楼阁，并重塑金像、复施彩绘，使古刹再现神采。如今每年每月十五日即大悲观音菩萨成佛日及每月初一、十五均成为香火大会，远道善男信女崇敬朝拜，四方游客云集，香火经久不衰。