相传明朝时期，此胡同里出了一个名叫李清堂的大官，他常年在京城居住，很少回家，他家的宅院、财产都由本家的一位教书先生照看。

　　根据《中国民间故事全书·河南洛宁卷》记载，这个胡同里还住着一户姓胡的人家，他家在城南有几十亩水浇地，生活富裕。这户人家的主人胡老头有八个儿子，仗着人多势重，常常横行霸道。这里的人们因害怕胡家的势力，只能选择忍气吞声。

　　据说这个胡同宽约一丈五，车辆过往便利，但一场大雨过后，胡家的院墙倒了，胡家的八个儿子在重修院墙的时候向外扩张了五尺，导致胡同变窄，人们过往十分不便。

　　在胡同里居住的人们不愿再忍受胡家人的欺负，一起找到李清堂的管家，请他写封信给李清堂大人，请大人出面为大家主持公道。这位管家将胡家人的胡作非为在信中一一列举。大家都十分期盼：李清堂大人总能给胡家人难堪吧。

　　半个月后，人们收到李清堂的回信，但令大家失望的是，李清堂并未对胡家人的做法进行批评、惩罚，而是写了首诗送给大家，诗这样写道：“忍一忍，让一让，后退五尺又何妨？如今只见长城在，世上不见秦始皇。”

　　大家看过信后，有的默不作声，有的愤愤不平，还有的丈二和尚摸不着头脑。几天后，这首诗传到了胡老头的耳朵里，他仔细品味，越发觉得自家人的所作所为对不起街坊邻居，于是把儿子们痛骂了一顿，并让他们推倒新建的院墙并后退五尺，在原来的位置重新修建。从此，胡家人不但不再胡作非为，还热心帮助穷苦人。

　　人们都觉得李清堂大人很厉害，几句诗就能把坏人变成好人，他们请李清堂的管家将诗抄写多份，张贴到各自家中，用来自警和教育子孙后代。

　　后来，居住在这个胡同里的人们相互体谅、谦让，和睦相处，相互帮忙，如同一家人。在附近居住的人十分羡慕这个胡同里的人家，就给这个胡同起了个好听的名字，叫作礼让胡同。