東院原為玉蘭山房，把古玉蘭樹（即“玉蘭王”）“玉圍于院中。陶澍巡視云臺山時，對這里也進行過大修，并題楹聯一副于玉蘭山房：奇石似人花下立，仙人如鶴竹間來”。

廟后有溫泉一池，隆冬不冰。周圍石壁上刻著許多前人的題勒，如錢泳的“登山觀海”，無名氏的“小蓬萊”、“天上人間”，也都各具風韻，令人賞心悅目。

延福觀周邊多南方草木，這里的玉蘭花樹、銀杏、格木、黃楊、紫薇等，都是數百年的古物。

小蓬萊：在延福觀大殿身后，穿過陰涼的金鑲玉竹林，便可以看到石壁上古人鐫刻的“小蓬萊”三個大字，篆書，字徑30厘米，筆力剛健，鐵線銀鉤。李汝珍《鏡花緣》中，把小蓬萊寫成是步入天庭的必由之路，唐敖和百花仙子唐閨臣都是從這里平地飛仙的。

玉女洗頭盆：山上石隙間泉水淙淙跌落崖下，日久天長，滴水處形成一個圓洼，人稱玉女洗頭盆。盆側石壁上有康熙年間海州司訓楊廷鎮的刻詩一首：“飛漢飄灑云山根，泠韻清音聽石門。恍如華山來玉女，觀看珠落洗頭盆。”玉女為道教中的女神，善于彈琴和做游戲，很像西方神話中的藝術女神。