参天之树，必有其根，怀山之水，必有其源。家族生生不息，源远流长，北迁南渡，星罗棋布。荣阳书院原名荥阳书院，发源地是潘氏望族开基河南省荥阳潘窑村，以“荥阳”为郡号。逾过三千余年，世代繁衍，生生不息。随着朝代更迭，因战乱、灾荒、或随官到任，或谋于生计等等原因，宗友后裔相继北上南移，由近及远，以致今天布满神州大地，皆有荥阳望族后裔，族人所到之处，立足生根。据各地谱史记载，南迁于江、浙、赣、闽及至两广，早在唐宋元三朝为多。

有热心村民透露，他的长辈说现门卫的地方，原有一棵四五个人才抱得过树干的百年大榕树，可想像有多老的树龄！有一次遇强台风，加上树已老枯，把大榕树吹倒了，压烂了荣阳书院的左上方的弯拱，后经修补基本恢复原貌。仔细瞧瞧，发现两个弯拱新旧程度真是有区别的。

书院前堂与天井相接处还有一块用作隔断的木屏风，见过此屏风的潘氏老人描述说，木雕古色古香，弥足珍贵，别致精美！只可惜“破四旧”时被拆除并遗失。前堂有左右两边还有阁楼，后面中堂即是上课时地方。

在荣阳书院作为祠堂兼学院时，前堂大厅内挂有孔圣人画像，潘氏学子六七岁左右点书时，要找四代同堂、有学识兼得高望重之人，前来书院写一幅“孔子先师之神位”加以三字经的墨宝，拿回家里贴起来开展点书仪式。