关于香林寺寺名的由来，在民间有多个说法，其中一说与桃林有关。

　　很早以前，这里是一处光秃秃的岗丘地带，岗下住着一个年轻的樵夫。一天，樵夫在岗坡上打柴，没留神脚下一滑，从岗上滚了下来。这时正巧有一位化缘的老和尚经过，伸手把樵夫搀住，使他有惊无险。樵夫对和尚非常感激，不住地一直连声道谢。和尚见这是一个忠实善良的后生，便从随身所带的布袋中摸出两大把山桃说：“我是个寻仙访胜的穷和尚，也没带啥好吃的，这两把山桃干果留给你，兴许有个用场。”樵夫推辞再三，和尚还是放下说了声“后会有期”就走了。望着老人远去的背影，樵夫双手合十默默地对和尚祈祷。

　　没几天，樵夫把桃果吃完，只剩下两把桃核。他想，如果把这些桃核种在岗上，用不了几年，准会结出山桃来。于是，他便把这些桃核都种在了岗上。俗话说：“杏四桃三，结果见钱。”三年头上，小桃树都开了花，整个岗上一片芳香。果子熟了，担到城里去卖钱。只两年工夫，樵夫有了积蓄，盖了新房，娶了媳妇，又添了个闺女，取名叫香妮儿。

　　一晃五年过去。一天，樵夫带女儿在岗上干活，看见一个老者从远处过来，马上认出这就是几年前送自己山桃的那个和尚。樵夫拉住老人，指指满岗开花的桃林，笑着说：“多亏您留下那么多山桃，我才有了今天。”又对老人说：“这是我的女儿名叫香妮儿。”香妮儿也开口忙叫爷爷，又折了一枝桃花举到老人的面前，天真地说：“真香，真香呀！”老人点点头，问这个岗叫什么名字，答：“叫秃岗。”老人说：“不好听，我看就叫香林岗吧。”樵夫听了，连连称好。

　　几年来，老和尚寻访过不少名山大川，唯独看出这里的地形与景色最好。经多年的化缘，也有了点积存，于是决定在此岗的向阳处建了一座庙宇，自赐名字“香林寺”。以后逐渐扩大，并形成了规模。

　　一年一年过去了，香林岗的美名传开了，香林寺的香火也大了。樵夫一家祖祖辈辈在这里辛勤劳作。后来，香林寺作为村名，也一直叫到如今。