相傳為呂洞賓修仙得道的洞天福地。原名“佛手巖”“佛手庵”。因洞口外形酷似一巨大的手掌，使人產生佛法無邊的聯想。一些史志上又稱其為“巖憩庵”，“僧緣崖”。是古時候僧侶犯了戒律后，面壁思過的地方。如酒戒、色戒、殺戒等等。

傳辯唐代呂洞賓兩科舉不第，內心十分郁悶，前來廬山游覽散心，走到廬山南麓，歸宗寺時題詩曰：“一日清閑自在仙，六神和合報平安，丹田有寶休尋道，對鏡無心莫問禪”，表示一心向往功名，雖士途屢遭挫折，也決不會皈依佛道之門，不管旁人說他是怎樣的奇材，要如何替度他成仙，呂洞賓一概沒興趣，唯一向往功名。

隨后，呂洞賓登上廬山來到黃龍寺，見很多善男信女對佛事虔誠得了不得，又傳聞黃龍禪師茂林法力如何了得。呂洞賓根本不信，認為是妖言惑眾。當日天色已晚，呂洞賓請求在寺內借宿一夜，夜里呂洞賓睡不著翻來覆去地想“什么法力無邊？”全是些騙財騙物，害人之舉罷了，我倒想看看你到底是真法力無邊，還是假法力無邊？于是乘夜色用劍擊刺盤坐練功的茂林禪師，結果劍不刃血。大師安然無恙皮毛未損，呂洞賓大驚，棄劍便拜連連請罪，懇求禪師指點出路，當即寫了一首悔過詩：“棄卻瓢囊槭碎琴，如今不煉永中生。自從一見黃龍后，始覺從前錯用心。”還說“我一生鄙視佛法，屢遭失敗。看來是不對的”。

于是品洞賓有意真心悔過，一改以前不信任佛道之行為，就來到這個人跡罕至的巖洞中，潛心思過，最后得漢鐘離的“長生決”，“延命術”。練成“金液大丹之功”得道成仙。呂洞賓在歷史上實有其人。姓呂巖山西永濟人，生活在唐末，五代時期《全唐詩》中擁有其詩詞249首。是當時著名的道士，自稱回道人。年幼熟讀經史，十歲能文，但仕途坎坷一濟，屢考不北，遂浪跡江湖，創立“全真教”成為全真派北五祖之一。（北五祖：王玄埔，鐘離權，呂巖，劉操，王重陽），時逢李唐王朝崇尚道學，唯道獨尊，呂祖軼事傳聞雀起，民間傳說他集“劍仙、酒仙、詩仙、色仙”于一身，放浪不羈，棄儒學道，仗劍云游，扶弱濟貧，鋤暴安良。演義出“江難斬蛟”，“岳陽弄鶴”，“三醉岳陽樓”，“三戲白牡丹”（名妓）等風流韻事，遍游名山大川，來往于仙凡二界。

廬山仙人洞是全國眾多呂祖巖中最出名的一個。毛主席多次來過這里。1959年夏，江青在仙人洞“仙路”旁，拍了一幅以錦繡峰御碑亭為背景的照片，右上角攝取有蒼勁的松枝，映襯在夕陽夕下的暮色之中，顯得十分蒼涼悲壯。1961年9月9日主席在“蘆林一號”居在時再次見到此照片，毛主席根據當時國際國內形勢（國際上共產陣營的排擠，蘇聯撤回專家，國內三年自然災害。政治上與劉少奇的斗爭即將突起，借《為李進同志所攝廬山仙人洞照抒發了自己的胸臆，在照片背面題了一首七絕“暮色蒼茫看勁松。亂云飛渡仍從容，天生一個仙人洞。無限風光在險峰”，顯示出偉人豪邁灑脫的精神風貌，從此廬山仙人洞聲名遠播。

據說江青還為之和了一首詩，“江上有奇峰，鎖在云霧中。尋常駐機構看不見，偶爾露真容。”其實這是一首寫景詩，沒有多少政治意義，但“四人幫”被打倒后，卻被后業很多文人強拉硬塊，說成是寫意詩。詩中隱含著很大的政治野心。“江上有奇峰”是指江青本人；“鎖在云霧中”指延安時規定不讓她從政，所以只能搞搞攝影。“尋常看不見”指她一直隱藏在暗中，幕后指使篡權，等“文革”中老師們都整得差不多了，她才顯露出政治上的野心。“偶爾露出真容”。人們才看清她的“廬山真面目”露出好粗的狐貍尾巴。 故事傳說得沸沸揚揚，使仙人洞名氣很大。