岳阳是个宗教寺庙较多的城市。宋时，府城南面有白鹤山，上有白鹤寺。有次，八仙之一的吕洞宾来到白鹤寺，因酒醉在寺旁的老松树下休息。这老松树乃千年树精，见吕洞宾到此，便化成老者，向吕洞宾作揖说：“我并不是山精树怪，今天能遇见先生，这是先生看得起我。”吕洞宾给了他一粒仙丹后，在旁边的墙壁上题诗一首：“独自行来独自坐，无限世人不识我，惟有城南老树精，分明知道神仙过。”后来岳州知府乃命人在吕洞宾歇息处筑一亭，名“过仙亭”，后改名“吕仙亭”，以祭祀吕洞宾。
吕仙亭位于白鹤山巅，又名白鹤寺，建于唐代。白鹤寺占地面积100多亩，建有八仙殿、娘娘庙、后土庙、观音殿、灵官殿、吕仙亭等殿堂庙宇，形成了一片古建筑群，气势壮观。山上古树森森，浓荫遮天，鸟啁婵鸣，环境幽静，为当时岳州八大景观之一。其西为洞庭湖，云水一片；南为南津港，东南为南湖。水入山尽，山映湖中，十余里尽皆湖水，故山水之胜，亭兼得之。站在山上，眺城廓，望洞庭，收览湖山之趣，几可与岳阳楼争胜。故邑人吴敏树曰：“凡岳阳楼所见无弗同者。”是当时城内除岳阳楼外最佳的游览观景之处。只可惜今南湖水面锐减，亭前建筑增多，高低参差不齐，风光不胜以前。又可惜“文革”狂风暴雨，亭被拆毁，千年古亭毁于一旦。2001年，寺庙土地部分得以归还，寺庙重建工作开始进行，重修后的吕仙亭（观）为道教庙观。其他建筑计划占地80多亩，现已重修了三清殿等部分建筑。
吕仙亭街也是当今岳阳众多老街巷中惟一保存较为完整的老街，自三角线桥至先锋路口，多为低矮的民房，少有高楼大厦。有些房屋还保留民国时期的建筑风貌，青砖黑瓦，木结构板壁，雕梁画栋，古色古香。只是现已破烂不堪，亟须修复。这些建筑大都为民国时期所建，部分是解放后所建，真正清末民初时期的则已不多见了。