庙前殿祀无诸，后殿并祀无诸和夫人。后来传说无诸的后代汉东越王余善在册封台东面山顶上向闽江垂钓时，钓到一条白龙，养在山岭顶的一口井内。因此，钓台被称为钓龙台，惠泽山改称为南台山，这段闽江称为白龙江，俗称台江，山上的井称为龙井，钓到龙的潭称为龙潭。后来相传有一和尚在龙井汲水，觉得十分沉重，提起来一看，桶中有条铁链。这时天色大变，狂风暴雨，雷电交加，一条白龙腾空而去，因此山顶称为龙岭顶。

唐、五代以后，山麓江边街市兴起，称潭尾街，宋代书法家米芾手书“全闽第一江山”石碑立于山麓，因此南台山就有全闽第一江山的美誉。由于人们对闽越王庙的崇拜，南台山到清代后又改称为大庙山。

大庙山自古以来就是文人墨客登临游览怀古之处。元代诗人范德机有咏余善钓龙台的诗曰：“海角钓龙人杳，云间待雁路迢。若为借得山头石，每到高秋坐看潮。”更多的诗是登临钓龙台怀念无诸，如明初著名诗人王恭《题无诸庙》诗曰：“野庙大江畔，潇潇树色寒。断碑荒草蔓，画壁古苔干。龙去春潮在，猿鸣海月残。英雄那可问，东逝更漫漫。”可惜的是，闽越王庙于1922年因失火被烧毁。

如今，大庙山闽越王遗迹地已成为福州第四中学校址。米芾写的碑文已遗失，后人陆某补写了一个碑，现立在福州四中内。.现在尚存的遗迹除“全闽第一江山”石碑外，还有钓龙台、钓龙井、登高石，而最重要的古迹闽越王庙还未重建。