山顶上有陈王祠，始建于北宋年间，1983年重修，飞檐垂斗，壁画高列。相传是为了纪念陈秀才而建的。陈秀才生于隋末唐初，附近的江平村人，自幼聪明好学，满腹文章。只因出身寒门，三次赴京赶考不第，皆名落孙山。遂放弃功名，回乡隐居于浮山。日里给乡亲摆渡，暇时吹箫歌垂钓。江岸悬崖上至今犹有“钓台”遗迹。因其平生利人济物，乐善好施，甚得乡民爱戴。他于唐武德年间（618年～626年）无疾而终。传说是积德成仙去了，后又常显灵庇护乡民。