相傳為呂洞賓修仙得道的洞天福地。原名“佛手巖”“佛手庵”。因洞口外形酷似一巨大的手掌,使人產生佛法無邊的聯想。一些史志上又稱其為“巖憩庵”,“僧緣崖”。是古時候僧侶犯了戒律后,面壁思過的地方。如酒戒、色戒、殺戒等等。
傳辯唐代呂洞賓兩科舉不第,內心十分郁悶,前來廬山游覽散心,走到廬山南麓,歸宗寺時題詩曰:“一日清閑自在仙,六神和合報平安,丹田有寶休尋道,對鏡無心莫問禪”,表示一心向往功名,雖士途屢遭挫折,也決不會皈依佛道之門,不管旁人說他是怎樣的奇材,要如何替度他成仙,呂洞賓一概沒興趣,唯一向往功名。
隨后,呂洞賓登上廬山來到黃龍寺,見很多善男信女對佛事虔誠得了不得,又傳聞黃龍禪師茂林法力如何了得。呂洞賓根本不信,認為是妖言惑眾。當日天色已晚,呂洞賓請求在寺內借宿一夜,夜里呂洞賓睡不著翻來覆去地想“什么法力無邊?”全是些騙財騙物,害人之舉罷了,我倒想看看你到底是真法力無邊,還是假法力無邊?于是乘夜色用劍擊刺盤坐練功的茂林禪師,結果劍不刃血。大師安然無恙皮毛未損,呂洞賓大驚,棄劍便拜連連請罪,懇求禪師指點出路,當即寫了一首悔過詩:“棄卻瓢囊槭碎琴,如今不煉永中生。自從一見黃龍后,始覺從前錯用心。”還說“我一生鄙視佛法,屢遭失敗。看來是不對的”。
于是品洞賓有意真心悔過,一改以前不信任佛道之行為,就來到這個人跡罕至的巖洞中,潛心思過,最后得漢鐘離的“長生決”,“延命術”。練成“金液大丹之功”得道成仙。呂洞賓在歷史上實有其人。姓呂巖山西永濟人,生活在唐末,五代時期《全唐詩》中擁有其詩詞249首。是當時著名的道士,自稱回道人。年幼熟讀經史,十歲能文,但仕途坎坷一濟,屢考不北,遂浪跡江湖,創立“全真教”成為全真派北五祖之一。(北五祖:王玄埔,鐘離權,呂巖,劉操,王重陽),時逢李唐王朝崇尚道學,唯道獨尊,呂祖軼事傳聞雀起,民間傳說他集“劍仙、酒仙、詩仙、色仙”于一身,放浪不羈,棄儒學道,仗劍云游,扶弱濟貧,鋤暴安良。演義出“江難斬蛟”,“岳陽弄鶴”,“三醉岳陽樓”,“三戲白牡丹”(名妓)等風流韻事,遍游名山大川,來往于仙凡二界。
廬山仙人洞是全國眾多呂祖巖中最出名的一個。毛主席多次來過這里。1959年夏,江青在仙人洞“仙路”旁,拍了一幅以錦繡峰御碑亭為背景的照片,右上角攝取有蒼勁的松枝,映襯在夕陽夕下的暮色之中,顯得十分蒼涼悲壯。1961年9月9日主席在“蘆林一號”居在時再次見到此照片,毛主席根據當時國際國內形勢(國際上共產陣營的排擠,蘇聯撤回專家,國內三年自然災害。政治上與劉少奇的斗爭即將突起,借《為李進同志所攝廬山仙人洞照抒發了自己的胸臆,在照片背面題了一首七絕“暮色蒼茫看勁松。亂云飛渡仍從容,天生一個仙人洞。無限風光在險峰”,顯示出偉人豪邁灑脫的精神風貌,從此廬山仙人洞聲名遠播。
據說江青還為之和了一首詩,“江上有奇峰,鎖在云霧中。尋常駐機構看不見,偶爾露真容。”其實這是一首寫景詩,沒有多少政治意義,但“四人幫”被打倒后,卻被后業很多文人強拉硬塊,說成是寫意詩。詩中隱含著很大的政治野心。“江上有奇峰”是指江青本人;“鎖在云霧中”指延安時規定不讓她從政,所以只能搞搞攝影。“尋常看不見”指她一直隱藏在暗中,幕后指使篡權,等“文革”中老師們都整得差不多了,她才顯露出政治上的野心。“偶爾露出真容”。人們才看清她的“廬山真面目”露出好粗的狐貍尾巴。 故事傳說得沸沸揚揚,使仙人洞名氣很大。