郑维山，1915年8月出生在麻城县乘马乡（现地域划分为河南新县）泗店村屋脊洼一个贫苦农民家庭，幼年读过一年私塾，放牛为生。父亲郑国麒，曾是村苏维埃农协主席，参加过黄麻暴动。黄麻起义前，受父辈影响，开始接受革命思想，替父为地下党送信。
    一九三○年加入中国共产党，同年参加中国工农红军。土地革命战争时期，任红四方面军总部炮兵连、通信队政治指导员，红九军第八十一团政治委员，红二十七师政治委员，红三十军第八十九师、八十八师政治委员。参加了长征。抗日战争时期，任晋察冀军区军政学校主任军事教员，教导团政治委员、团长，第四军分区副司令员、司令员。解放战争时期，任中国人民解放军晋察冀军区张家口卫戍司令员，冀察军区司令员，晋察冀野战军第三纵队司令员，华北军区第二兵团三纵队司令员，第十九兵团六十三军军长。中华人民共和国成立后，任中国人民解放军第十九兵团副司令员，中国人民志愿军第十九兵团副司令员，第二十兵团代司令员，北京军区副司令员、代司令员、司令员，兰州军区司令员。一九五五年被授予中将军衔。是第三、六届全国人民代表大会代表，中国共产党第八次全国代表大会代表，第九届中央委员。一九八五年在中国共产党全国代表会议上被增选为中央顾问委员会委员。