少林寺创建于北魏太和十九年（495年），孝文帝元宏为安顿来朝传授小乘佛教的印度僧人跋陀，在与都城洛阳相望的嵩山少室山北麓敕建而成。

永平元年（506年），印度高僧勒拿摩提和菩提流支先后到少林寺开辟译场，在少林寺西台舍利塔设立翻经堂翻译经书。之后，慧光在少林寺弘扬《四分律》等师说，经多代发展，后世最终形成四分律宗。

北魏孝明帝孝昌三年（527年），释迦牟尼佛第二十八代徒菩提达摩来到少林寺，他在跋陀开创的基础上，广集信徒，传授禅宗，东魏孝静帝天平三年传法于慧可，从此禅学在少林寺落迹流传。

在南北朝佛教发展高峰期，北周武帝采纳还俗沙门卫元嵩删寺减僧的建议，在建德三年（574年）下令禁止佛教传流，史称北周武帝灭佛，少林寺毁坏严重。