1279年3月19日，在广东新会崖门口，蒙古军队对无路可退的南宋王朝30万人进行最后的围歼。陆秀夫把8岁的幼帝绑在背上投海殉国，南宋灭亡。第二天，海面漂尸10万。

蒙古人征服北方时，实行屠城策略，北宋末期，北方有4500万以上登记人口，南宋灭亡后，北方人口仅剩700万人，还有三百万人逃到南方。这些宋朝的遗民散落在江西、广东、福建等地。

南海西樵山脚下有个百西村，村民的祖先就是宋朝的先民。据村史记载，百西村距今已有七百余年的历史。据考证，南宋灭亡后，残存的南宋先民四处逃亡，大部分人潜入珠江三角洲腹地，其中一支沿着西江北上，先是来到现在的佛山市高明区，随后又东渡西江，在西樵山下孑孑而生，他们在那里落地生根，总算保住了南宋先民的一滴血脉。

现在的百西村是个大村，由几个不同姓氏的小村子组成。村头村面积不大，现代砖混建构的村落中间散布着一些具有典型明清建筑风格的房屋。过去，村里有130多间石脚镬耳大屋，后来倒塌了不少，现在还保留着30余间古建筑，历史最长的可以追溯到明朝。

近30多间祠、庙、厅堂分布村中各处。目前，全村青砖石脚镬耳大屋幸存30余间，祠庙、厅堂现存8间，其中潘氏大宗祠、文武古庙、祥斋祖祠、仲宣祖祠最能体现古代特色。潘氏大宗祠坐落于村庄中央地带，始建于清乾隆二十六年（1762年），正殿二进硬山顶结构，咸丰四年（1854年）扩建东西衬祠，同时加建后楼1座，构成高大雄伟建筑群，20世纪大跃进年代拆除后楼。

村庄四周建有城墙。宋朝的先民逃到西樵后，对蒙古人心有余悸，修建了自卫的城墙。村里的老人说，他们对城墙记忆深刻，当年的城墙高度超过4米，全部用花岗岩建造，四座碉楼分别守四方，村外东、南、北三面开挖护村河，白天靠吊桥出入，晚间收起吊桥，整个村落是一个固若金汤的堡垒。遗憾的是，这些城墙在文革期间被拆掉，但是在村西头的一个鱼塘附近，尚存一些用花岗岩垒砌的城墙地基。祠堂前林立的功名碑。百西村经历沧桑，城墙只剩残垣断壁，村民利用废弃的城墙做地基建房子。

石板路由花岗岩，整齐古旧，四处散发着岭南古文化的气息。从一幅图画中看到，村头村在清代最为鼎盛，每年向番禺万顷沙收租白银数十万两。村内三十多条街道成棋盘状纵横交错，条条相通，街道全部用平滑的花岗岩石铺成。街头巷尾均设门楼，和恒大街两旁祖祠、商铺林立，可以想象当年的繁荣景象。现时，村内还有六口古井，古树20多棵。

在一块石碑上，写着道光二十四年，潘斯廉中举人；道光二十七年再中进士，授职编修，据说，他曾赏花翎五品衔，并任广东巡抚，后转京畿道御史任高职。另一块石碑写着清咸丰元年中举人的潘斯湖。据「族谱」说：他在朝为官，1853年西樵桑园围因水患堤围经常松塌，为使堤围永固，潘斯湖先后以息银三万两分段修筑堤围，造福桑梓。因热心筹饷，朝廷授其员外郎中以示奖励。任职期间，潘斯湖还上书朝廷请求拨款修固桑园围，朝廷同意拨付专款修建堤围。

另一位清同治十二年中举人的潘誉征，任职为户部郎中掌管司务事。光绪十一年，大栅围马头岗水闸淤塞，围内受浸。上书当局两次，恳求修闸，制府张文襄据情亲临视察，拍板修好水闸，水患得以消除。

据南海史记载，明清两朝，百西村族人曾考取3名进士，16名举人，故潘氏大宗祠门前旗杆林立。村志自豪地说：「古村人才辈出，历代先祖重教兴文，建有书塾多间。」有南海专家考证，村头村里的众举人、进士为官期间，重视家乡水利建设，造福后代，多次筹款、拨款，治理家乡水患功不可没。

78岁的村民海叔小心翼翼地拿出一本精心保存的发黄家谱，家谱封面用隶书写着一行大字：「潘氏德堂族谱」。根据家谱记载，潘氏祖籍乃中原人氏，祖先为了躲避蒙古骑兵的追杀南逃广东，后来就在西樵山下落地生根。族谱有段文字说，南宋末年，始祖潘氏从高明迁移到西樵。高明距离新会不远，西江流经高明向南，在新会的崖门口入南海。

潘姓是典型的中原一带的姓氏，在河南省非常普遍。无法考证当年来到西樵山下南宋人的数量，但是人数应该不多，经过七百多年的繁衍，潘氏在这里已经血脉相传二十七代，子孙近两千人。