香山寺坐北朝南，寺后县崖峭壁，怪石嶙峋，寺前坡度稍夷，有石阶120多可达寺门。寺内有北宋熙宁元年(1068年)重建的大悲观音大士塔，为八角九级密檐式砖塔，造型别致，古雅秀丽。塔基向南有一洞，为玉佛洞，内有"玉石佛"一尊，体态端庄，双目欲睁似闭，神气超脱;塔底层有"千手千眼佛"一尊，立于洞中。