晋元帝である司馬叡が川を渡って東晋王朝を樹立し、都を建康（現在の南京）に定めました。正南門の宣陽門（現在の中華門）の外に双闕（宮殿）を建造し、皇帝権利の至尊の意を示すつもりでしだが、丞相（古代の官名、皇帝以下の相）である王導は、東晋の政権は創設されたばかりなので、大きな土木工事をまだすべきではないことを承知のもと、晋元帝へ御輿に乗るよう勧め、一緒に宣陽門を出ました。そして南を眺めると、牛首山の双峰が対峙し、とても壮観であったため、即座に元帝に、「こここそは天闕（宮殿）なのです！まったく他所で造る必要は無いで

南朝、劉宋の大明3年、初めに幽栖寺が建造され、「南朝四百八十寺」中、早期の有名なお寺となりました。

南朝、劉宋の孝武帝、大明5年、牛首山の西峰南斜面にある洞窟の中で、かつての高僧、辟支僧侶が住んでいました。辟支僧侶はこの穴の中で「立ちどころに仏となり、天を登ると仙となった」ということで、この辟支僧侶が住んだことのある洞窟は辟支仏洞、または仏窟洞とも言われ、牛首山も一度は仙窟山と呼ばれたことがあります。

司空徐は梁天監2年の初め頃に仏窟寺（現在の宏覺寺）を牛首山南に開いています。

唐代、牛首山は「西北の清涼山、西南の蛾眉山とともに聖道の場所」と称され、三大仏教名山の一つとなりました。

西暦643年、唐貞観17年に「东夏のダルマ」と言われた法融禅師は、禪宗四祖より道信の手引きを受けて、幽栖寺の北岩で茅茨禪室を創り、信徒へ法を授け、牛頭禅宗を創立しました。牛頭禅はインド禅を中国化した最初のものであり、牛首山も中国禅宗の重要な発祥地の一つとなりました。

唐大歴9年、更に宏覚寺塔が増設され、民間では唐塔と呼ばれました。唐代宗である李豫が夢の中で「峰頂七重仏塔の修繕」を見たことで、建造するよう命じられたと言われています。

南唐先主である李昪と皇後の宋氏を安葬した「欽陵」、及び中主である李璟と皇後の鍾氏を安葬した「順陵」を南唐二陵と併称します。五代十国時代において規模が最大の帝王陵墓で、牛首山南麓に位置しており、現在、中国重点文物（歴史遺産）保護単位と評されています。

北宋皇祐2年初め頃、辟支塔が牛首山西峰の元仏窟寺に建造され、辟支僧侶の名を取ってこう名付られました。

明代宣徳8年4月、有名な航海士である鄭和がインド西海岸の古里で亡くなり、南京牛首山に葬られました。

明代正統年間、仏窟寺は弘覺寺と名称変更され、金陵次大寺に属さされ、また大報恩寺に管轄され、明代の南京における八大国寺の一つとなりました。

清代、弘覺寺は乾隆帝（弘歴）の名を避けるために、宏覺寺と改められ、民国時期に宏覺寺は再度普覺寺と変更されました。

有名な僧である宏成法師は宏覺寺を再建することを決心していましたが、旧跡の多くは既に破壊されていたため、新たに寺院を建立する場所として祖堂山の元の幽栖寺跡の隣を選び、寺名を宏覺寺としました。

仏頭頂舎利の入った鉄缶が南京大報恩寺遺跡の長干寺地下宮殿から出土しました。2010年6月12日午前9時15分、南京栖霞寺でこれまで千年ほど密蔵されてきた「仏頭頂真骨」が世に再び現れました。

宗教と文化行政主管部門、及び仏教と文物界によって共同検討・合意されたことには、牛首山遺跡公園中で地下宮殿を再建し、仏頭頂舎利を奉納する旨決定されました。

江寧区政府は「天闕地下宮殿し、五禅双塔――牛首景勝地」というコンセプト案を完成させました。この時までには、仏頭頂舎利を奉納する場所と方式が確定されました。

南京市委員会市政府は牛首山で「南京牛首山遺跡公園定礎式」を開催し、プロジェクトは正式に着工されました。

釈迦牟尼仏頭頂舎利奉納式典が南京牛首山で盛大に行われ、牛首山文化観光地も同時に竣工、開園されました。