祭遵，字弟孙，东汉初颍川颍阳人，今临颍东北一带人。祭遵少好经书，其家虽富，但祭遵十分节俭，常穿破旧衣服，其母去世，他亲自背土，垒造坟茔。曾有豪吏欺负他，被他结交的侠士杀死，城中人开始认为他怯懦，此事之后，人们都畏惧他。

    刘秀发动义兵讨伐王莽时，祭遵数次进见刘秀。刘秀看他风度不凡，仪容伟岸，便任命他为门下史。后来，他随军进攻河北，担任军市令，他执法严明，军市秩序良好，没有欺诈现象。一次，有个伺候刘秀的小郎犯了法，祭遵毫不客气，当场处死了他。刘秀得知，十分恼怒，下令收捕祭遵要加以惩处，主薄陈副劝阻说：“明公常想让众军整肃，现在祭遵执法毫不避忌袒护，正是让您的教令行诸于军的好机会。”刘秀这才赦免了祭遵，并任命他为刺奸将军。事后，刘秀对将领们说：“你们要避开祭遵！我府邸奴仆犯法尚且严惩，他也一定不会偏袒你们的。”不久，祭遵又升任偏将军，随从刘秀平定河北，因功受封为列侯。

    建武二年（26年）春，光武帝刘秀任命祭遵为征虏将军，封为颍阳侯。及至进军箕关攻打南方敌兵时，敌人的弩箭射到祭遵的嘴上，伤口血流不止。众将见祭遵受伤，渐生退意，阵脚移动。祭遵情急之中，不顾伤痛，横刀立马，厉声喝斥：“谁敢后退！”士兵见祭遵如此刚强，勇气百倍，终于大破敌兵。祭遵又断绝了张满粮道，攻破城邑。第二年祭遵跟随谏议大将军朱祐到东阳，大破延岑。

    之后，祭遵到涿郡讨伐张丰，至渔阳斩杀彭宠，大军所到之处如急风骤雨，所向披靡。收复土地后，祭遵屯驻留乡，教化百姓，训练士兵，树立朝廷威信。

    建武八年，光武帝亲自率军征讨隗嚣。汉军想求一战胜敌，诸军合力攻敌，但所带粮草不够，士兵逃亡很多。隗嚣趁势反攻，各路汉军都向东溃逃，安定、北地、天水、陇西一带又被隗嚣占据，只有祭遵留在驻地，独守冲难，没有退却。第二年春，祭遵病死军中。

    祭遵爱儒术，不仅选拔人才独尊儒术，就连饮酒时的娱乐，也只用儒家的雅歌投壶。他还建议朝廷为孔子立后，并奏请设置五经大夫。他虽然身在军旅，但从不忘俎豆之礼。

    祭遵一生为人廉约小心，克己奉公。他得到赏赐，都分给部下士卒，不治产业，家无余财。自己一生，穿皮裤，盖布被。夫人衣裳不曾加饰边，简朴至极。临死时，他还诫家人将自己用牛车拉回，薄葬洛阳，不事奢华。

    祭遵死后，光武帝刘秀悲痛异常。他的灵柩运回河南时，刘秀命百官都去迎接，自己也素服亲临，经过他的丧车时，刘秀泪流满面，不能自己。葬礼那天，刘秀又亲自用太牢祭祀他，并为他送葬。葬礼完毕，刘秀又到他的坟前吊唁，并到家中慰恤其家属。每当朝会时，光武帝常常叹息，说：“安得忧国奉公之臣如祭征虏者乎！”赠谥号“成侯”。