据说事情发生在明朝万历年间，南乐城内东大街霍家，官居户部尚书，为光宗耀祖，决定建牌坊光耀门庭。当时霍家的庄基是望北向南，门前对面是梁家的庄基，霍家想建过路牌坊要占梁家的地皮，梁家虽贫但就是不同意，两家就发生了争执。霍家无奈，情愿出钱买下。但是梁家贵贱不卖。正在相持不下，梁家出来一个穿开裆裤的黄毛小儿，叫梁天奇，上前插嘴道：“您占了俺的地方，今后俺建牌坊咋办？”霍家人想，一个衣食不保的小儿口出如此荒唐之言，不禁令人笑掉大牙。于是霍家人信口答道：“到你建牌坊时，建在我的牌坊顶上。”双方主事人当即击掌立约。

    光阴荏苒，转眼几十年过去，梁天奇官至御史大夫，也要立坊耀祖，因霍梁两家有约在先，于是梁御史的牌坊就建在了霍尚书的牌坊之上了。