郑州清真寺因地处北大衔,故又名北大街清真寺、 北大清真寺或北大寺,是伊斯兰教在郑州建造最早、规模最大的清真寺。

    伊斯兰教与其它宗教最不同的一点是民族与宗教合一，哪里有穆斯林哪里也就有清真寺。所以郑州伊斯兰教是随着回族人口的出现而传入的。唐代,公元7世纪初,管城已是两京（长安、洛阳）通往沿海各地的水陆码头,一些过往的阿拉伯使节和商人,或寄寓或留居,成了当今郑州回族最早的来源。唐代宗宝应元年(762年) ,兵马副帅仆固怀恩极其所率军队在安史之乱平息后，留驻汴洛黄河两岸。据史家考证，仆固怀恩是一位“勇敢善战的穆斯林人”，他所率领的军队,主要是回纥、南蛮和大食人，也成为郑州回族的来源之一。唐中和四年(884年)，李克用奉命率兵五万进剿黄巢起义军,其大本营就设在郑州。后来又有一些回族因经商或从军等原因逐渐在郑州城乡定居下来,明代郑州城内的“回回巷”（今管城回族区清真寺街一带），已是回族群处的地方。同时清真寺作为伊斯兰教传教和活动的场所也陆续兴建起来。

郑州清真寺始于元末明初，位于北大街128号，为郑州伊斯兰教传播发源地。寺内乾隆二十六年（1761年）碑文记载：“由明以迄大清数百年，掌教者有三师。”清乾隆十九年和四十七年两次重修。雍正三年（1725年）重修寺门照壁，嘉庆七年（1802年）重修大殿滚白，光绪三十三年（1907年）重修望月楼。1953年、1982年郑州市政府两次拨款共40万元进行了翻修。寺院现占地近17亩，为两进院对称，中国传统宫殿式建筑,主要由大门、望月楼、大殿、南北讲堂 浴室、殡仪馆组成。