相传周夷王时，有五位仙人骑着口含谷穗的五头羊飞临广州，把谷穗赠给广州人，祝愿广州永无饥荒，言毕仙人腾空而去，羊化为石，故广州又叫羊城、穗城。人们为了纪念五位仙人，建造了五仙观，塑五仙骑羊像，奉祀观内。五仙观坐北朝南，依地势而建，原有照壁、牌坊、山门、中殿、后殿，两侧还有东西斋房、三元殿、廊庑等，现仅存头门、后殿和东西斋房部分旧建筑。头门上石匾有清同治十年（1871年）由文渊阁大学士、两广总督瑞麟书写的“五仙古观”4个大字。后殿是绿琉璃瓦重檐歇山顶，琉璃鳌鱼宝珠瓦脊，立面造型比例适度，保留有早期建筑的遗风，是广州市保存较好的明代木构架建筑。五仙观还保留有宋代至清代的碑刻14块，石麒麟一对。原有五仙塑像，年幼的在中间，手里拿着稻穗，年长的四位在左右，手里分别拿着黍、稷等谷穗。

　　五仙像下面的五头羊，大小相交，毛色斑驳。

　　行往后殿东侧，可见裸露的红砂岩层上面有一巨大的脚印状凹穴，古人以为是仙人足迹。其实在晋代以前，这里还是江边，人称“坡山古渡头”，凹穴是古时珠江洪水期的急流冲蚀而成的。明清两代，分别以“穗石洞天”和“五仙霞洞”列入“羊城八景”。