相传二百多年前村上住着一户姓苗的人家，这里桃、杏、梨、枣、李子满山遍野比比皆是。土地肥沃，禾苗茁壮，繁花似锦，真是一个风景优美的小山村。

    后来，一户姓党的妇女带着一个幼儿逃荒至此，苗家夫妇对她们的到来，十分欢迎，就帮助他们母子盖了两间房子住下来，党氏十分勤快，日子也过得去，两家团结友家。互帮互助，和睦相处，亲如一家，一天党氏的儿子不懂事，摘了苗家枣树上的枣，党氏党得羞愧。心想，自从来到此地，苗家夫妇对俺母子一百层，自己对孩子没有教育好，孩子呢，也不争气，今后，咋有脸见人！就把儿子叫到身边，哭着教训道：“你也不算小了，该懂事了，人家对咱那样好，你却偷人家的枣吃。要知道小偷最叫人憎恨，唾骂！以后谁敢挨我们！我是没脸再在这儿住了。”儿子也哭着说：“妈，我错了，以后再也不偷吃人家的东西了。”于是党氏携子向苗家赔礼道歉，并执意要搬家。苗家说啥也不让党氏母子搬走。说道：“吃一枣有何妨，更何况孩子认了错，为留邻家，就是刨了枣树也心甘。”硬是把党氏母子留了下来。从此两家的关系更融洽，两家的小孩更亲密。这个具有传统美德的故事一传十，十传百，方圆几十里妇孺皆知，对两家都交口称赞。“留邻”的名子就这样问世了。

    又过了些日子，他们两家齐心协力，在房前屋后，田间地头，沟沟坎坎又种植了许多李子树，再加上杏、梨桃等树，每到春季，这里做一日和尚撞一天钟成了花的海洋，置身其中，浓郁的花香浸人心肺，令人陶醉。村外泉水环绕，叮咚作响，山中曲径通幽，远望群山层层迭翠，风景如画。无论谁来到这里，都会留连忘返。特别是果实成熟时，这里满山遍野，果实累累，李子尤为突出，鲜红的李子结满枝头，沉甸甸的，像把树枝折断似的，万绿丛中点点红，把个山村点缀得更加美丽。因此，人们把此村叫做“李子树”村。因为“李子”又叫“榴”，和“柳”同音，便演变为“柳林”至今。