北魏孝昌二年（526年）达摩来到广州，自幼笃信佛教的梁武帝派人专程迎达摩到南京，仪式十分隆重。然而这次会面却与跋陀见到魏孝文帝的情景迥然不同，二人不仅没有一见如故，反而闹得很不愉快。
　　
    梁武帝一见到这位黑发飘扬、目如铜环的异域高僧，便迫不及待地带领达摩观看了自己亲手绘图并建造的宏伟寺庙，以及抄录的一卷卷经书。梁武帝问达摩：“我做皇帝以来，修建寺庙，抄写佛经，剃度僧人，不可胜数，有什么功德？”达摩说：“没什么功德。”武帝不快，又问：“如何才算有功德？”达摩回答：“完成自我、净化自我，又净化他人，普度众生。这样的功德，不是靠世俗的有为来求得的。”
　　
    梁武帝本以为会听到一番恭维之词，没想到讨了个没趣。这次会面，二人话不投机，达摩不辞而别。传说达摩走到江边，就在江边折了一根芦苇投入江中，化作一叶扁舟，以一苇而过长江，到了淮北，再到北方，最后到达了当时由北魏占领的洛阳。这就是著名的“一苇渡江”的典故。
　　
    北魏孝昌三年（527年），过江之后的达摩来到少林寺传授大乘教义，但并不受少林寺中信奉小乘教义的众僧欢迎。达摩看到自己的佛法不被众人所理解，就向后山走去。在后山见到一个天然石洞，据说此洞为上古蚩尤住所，故名“蚩尤洞”。他走进石洞面壁而坐，开始九年面壁生涯。相传由于达摩终日面壁静坐，不免筋骨困倦，加上在深山老林，野兽不断侵扰，为了驱倦防兽，健身护寺，创造了“达摩链”、“达摩杖’、“达摩剑”等，这套健身术后经历代长期充实、提高，逐步形成了一套拳术，共达百余种，武术上总称“少林拳”。
　　
    达摩面壁九年，终成正果，传说石壁上还印出了他打坐的影子。达摩创立的禅宗也在后世被发扬光大，后人称他为“禅宗初祖”，称少林寺为“禅宗祖庭”。
　　
    如今在少室山五乳峰离绝顶数十米的一处深约5米，宽约3米的天然石洞，就是达摩面壁的地方，后世称作“达摩洞”，宋代人为纪念他，在五乳峰下建造了一座纪念建筑，便是著名的初祖庵。
　　
    菩提达摩是一个被赋予太多传奇色彩的高僧。传说在达摩去世的那一天，东魏使臣宋云，正好从西域返回洛阳。在途经葱岭时，迎面看到达摩一手拄着锡杖，一手掂着一只鞋子，身穿僧衣，赤着双脚，由东往西而来。宋云便问他要到哪里去，达摩回答说他要回西天。宋云回到洛阳，听说达摩已经死了，十分意外，他对旁人说在去葱岭的路上见到达摩了。大家不信，于是就打开达摩的坟墓来验证，结果坟墓里没有达摩的尸体，只有一只鞋。如今少林寺院内的达摩像，手里拿着一只鞋，便是根据这个故事而来的。