A szájhagyomány szerint Bodhidharma az óindiai királyság egyik hercegének harmadik fia volt, aki gyermekkorától kezdve tanulta buddhizmust Buddha 27. reinkranációjától. Egy nap megkérdezte tanítójától, hogy hova kell mennie prédikálni. A tanár azt felelte, hogy Kínába. Először Dél-Kínába ment, ahol Nankingban a Liang Wudi császár fogadta a szerzetest. A császár arról kérdezte a szerzetest, hogy miután számtalan kolostort és pagodát építtetett, sok buddhista építményt, s számtalan nagy értékű kincset adományozott a szerzetesbarátoknak, milyen jutalomra számít. Bodhidharma úgy felelt, hogy a császár, noha minden erőfeszítést megtett, mégsem ért el erkölcsileg semmit. Felelete után a császárnak hátat fordítva elment északra Luoyang város felé. 

A Jangce folyónál a prédikátor nehézségbe ütközött, ugyanis a folyó felett nem volt híd, amin átkeljen. Ám találkozott egy idős asszonnyal, aki nádcsokrot cipelve várakozott a hajóra. Bodhidharma így szólította meg őt: "Idős bodhiszattvám, szeretnék átkelni a folyón, kölcsönkérhetek egy szál nádat, hogy az hajóm legyen?" Az idős nénitől kapott egy nádszálat. Bodhidharma kezébe vette a nádat, rádobta a folyó vizére, majd ráállt a nádra, amelyre felszállva elegánsan átjutott a folyón.

Időszámítás után 527-ben érkezett a songshani Shaolin kolostorba. Itt azt tapasztalta, hogy lenyűgöző a környezet, dús az erdő, s ami még ennél is fontosabb, hogy az itt lakóknak megtetszett a buddhizmus. Ettől kezdve itt szállt meg a buddhizmus szutrájának terjesztéséhez, a meditáláshoz. Ekkor lett a Shaolin kolostor a kínai Chan szekta ősi eredete, és a szekta első patriarchájának tekintették a leszármazottak. Manapság a kolostor táblái között található egy rajz, amely Bodhidharmát jeleníti meg, amint éppen átkel a Jangcén.

A Wuru nevű hegycsúcs felső szakaszán található egy természetes kőbarlang. A három méter magas, mintegy 6 méter mély barlang bejárata délre néz. Bodhidharma itt meditált minden nap. A legenda szerint a fal felé fordulva ült a barlangban, szemét becsukta, nem szólt egy szót sem, nem prédikált. Teltek múltak az évek, s mintegy 9 éven át - 527-től 536-ig - ült így egy helyben.

Mikor a barlangot elhagyta, az ülőhelyén, vagyis a nagy sziklán Bodhidharma szép formája megmaradt. Az emberek a sziklát "Bodhidharma árnyékának köveként" emlegetik, a barlangot pedig "Bodhidharma fal felé fordulása" barlangnak nevezték el.

A legenda szerint miután Bodhidharma szent tárgyait Huike szerzetesre hagyományozta, elhagyta a Shaolin kolostort, s Louyang felé vette útját. A luoyangi Qiansheng (Ezer Szent) templomnál tovább folytatta a meditációt, s a külvilágtól elzárkózva magába mélyedt.

Bodhidharma az Északi-Wei korszak egyik legbefolyásosabb prédikátora. Halálát szinte mindenki gyászolta egy ember, az akkori közép-ázsiai országokba küldött császári megbízott, Song Yun kivételével. A prédikátor halálát követő második évben Song Yun visszatért a fővárosba. A Congling hegyláncnál találkozott Bodhidharmával, aki egyik kezében botot fogott, a másikban egy cipőt vitt. Látta a császári megbízott, hogy Bodhidharma ? aki éppen nyugatról kelet felé tartott - nem visel a lábán cipőt. Találkozásukkor Song Yun azt kérdezte Bodhidharmától: "Mesterem, hova mész?" Bodhidharma így válaszolt: "Miután visszatértél a fővárosba, senkinek ne mondd, hogy velem találkoztál, mert az bajt hozhat rád."

Song Yun nem fogadta meg a Bodhidharma figyelmeztetését, s a fővárosba érvén beszámolt a császárnak Bodhidharma nyugati utazásáról. A császár ennek hallatán dühbe gurult, s azt válaszolta Song Yun-nak: "Közismert, hogy Bodhidharma elhunyt már Luoyangban, és eltemették a Xionger hegységben. Hogy lehet az, hogy te mégis találkoztál vele? Szándékosan be akarsz csapni." A császár parancsára Song Yunt fogságba vetették.

Néhány nap múlva a császár visszahívatta a börtönből Song Yunt, és meghallgatta Song Yun magyarázatát. Song Yun a találkozás minden részletét elmesélte a császárnak. A császárt a hallottak megingatták hitében, s hivatalnokai javaslatára utasítást adott arra, hogy ássák ki Bodhidharma sírját. A koporsó fedelének kinyitása után ámulatba ejtette a látvány, ugyanis nem volt benne a holttest, csak egy pár cipő. Song Yunt ártatlannak találták, így szabadon engedték.

A Shaolin kolostor kőtáblákkal teli erdejében megtalálható egy vésett kőtábla, mely erről a legendáról szól.