进入仙人旧馆，便是古风流溢的“平山堂”，此堂初建于宋庆历八年欧阳修知扬州时所建。42岁的欧阳修初到杨州后，政务庞杂，应接尤多，但纲目不 乱，关心民瘼，秤击暴敛，深受百姓爱戴。欧公在公务之余，寄情干山水诗酒，游目骋怀，筑平山堂作讲学、游宴之所，数月而成。平山堂前筑石台，围以栏槛，欧公亲植柳树，时称“欧公柳”。因望江南诸山，含青吐翠，飞扑于眉睫而恰与堂平；加之欧公内心所思，江南及各路诸才子，若可攀跻，寄此情于此景之中，故定堂名为“平山堂”。北檐下有清光绪二年（1876）林肇元所题匾额：“远山来与此堂平”亦点明含义。嘉佑八年（1063），山堂朽，工部郎中刁约领扬州事时重修山堂。封闭前庭，改制为行春台。南宋绍兴末年台圮，隆兴元年（1163）至嘉定三年（1210）多次兴毁。元代一度荒废。明万历年间，知府吴秀重建山堂。
清康熙十二年（1673），刑部主事江都汪懋麟与太守金长真又扩建山堂，并建行春台。康熙帝南巡维扬时，至平山堂题“平山堂”、“贤守清风”、“怡情”、“澄旷”四额，并制《平山堂》诗一首。乾隆元年（1736）又整修山堂，规模益大。为记此事，在平山堂南，东壁面西处有乾隆元年七月两淮都转运盐使尹会一撰并书《重修平山堂》碑石一方。咸丰年间，平山堂毁于兵燹。 今日之平山堂是同治九年（1870）盐运使方浚颐重建。其建筑为宏宇敞口，面南五楹，七架粱，前有卷栅廊。在明间北廊柱轴线上设落地罩，从罩到檐柱以北设走廊与“谷林堂”相连，今平山堂为方浚颐所题。清光绪初年两江总督刘坤一题“风流宛在”，乃追怀欧公韵事而书，书法流畅， 看来其“流”少一点而“在”多一点，用字活而非错，回味其意欧公风流仍在。 山堂建成后，欧公寄书前任太守韩琦曰：“独平山堂占胜蜀冈，江南诸山一目千里”。可见欧公于平山堂前眼界宽广而心旷神怡，故清代彭玉麟有“放开眼界”之匾。 1979年又事大修，山堂面目一新，令人流连往返。