西樵山是中国南粤的名山，而老氏的族人从宋代开始便聚居在这座名山之下。

西樵山原本是一座古代火山，由火山喷发而成的。据相关史料记载，当珠江三角洲还是一个古海湾的时候，发生过一次火山爆发，形成为一个锥状的山体。此后，山体上又出现了几次岩浆喷发。后来，海水消退，珠江冲积平原形成，西樵山也变成了陆地上突兀而出的山头。

大约在距今六七千年前，西樵山麓已发育为老洪积冲积扇。人们在西樵山滴水岩，发现一个6000年前的石器「制造场」；并且在镇头岗、富贤村、马鞍岗、云路村、云端村一带，到目前为止大概发现20~30个点古代石器制造场，大都分布在西樵山的西南麓，可容纳成百上千的古人同时劳作。

2009年3月19日下午，西樵镇大同村柏山村小组村民林辉培在对自己承包的鱼塘进行挖深改造时，在深六七米处发现两件哺乳动物下颌骨及两件肋骨，分别长约40多厘米。经过鉴定后，被确认为同属于新石器时期的古代水牛骨，距今大约3000年至4000年。

考古工作者还在这一区域发现的众多的新石器时代中、晚期的贝丘遗址。

这一切，均有力地说明了当时西樵先民过着一种打制石器和亦渔亦猎的简单生活。

1960年，中国著名考古学家贾兰坡教授专程到西樵山进行考察，并提出了「西樵山文化」。1979年夏鼐在总结新中国考古30年成就时再次提出「西樵山文化」。这都说明西樵山的文化在中国历史上占有一个重要地位。

2009年2月，水上考古学者在西樵山石燕岩水下发现古代最大的采石遗址。

到了两宋时期，中原人口为避兵祸战乱，大量南迁，从中原、江南各地经南雄珠玑巷散落到珠江三角洲一带，于对珠三角的大规模开发。在鸦片战争之前，以南海、番禺、顺德为中心的产地，创造出「桑基鱼塘」的生产模式。所谓「桑基鱼塘」，是指人们利用珠江三角洲低洼地势的有利条件，挖塘筑基，在塘里养鱼，塘基上种桑育蚕，用塘泥作桑、蔗、果的肥料，用蚕粪、蚕蛹、桑叶梗、蔗叶养鱼，鱼塘里养殖鲩鱼、鲢鱼（鳊鱼）、鳙鱼（大头鱼）和鲮鱼。通过几种鱼类混合放养，互相调剂，互相利用，塘基互养。这是西樵的典型的农业模式，使这里成为农业发达的地区。这也是古代一种极为环保的农业养殖生产模式。

明清以来，山中文人辈出，科名鼎盛，达官贵人亦多来西樵山游转。一批的学者在这里设立书院讲学，使西樵山被誉为「理学名山」。

例如沿着石燕岩前往九龙岩景区，可以找到一块长满青苔的岩石上刻着湛子洞三个大字。原来这个小洞就是明代儒学大师湛甘泉讲学处，三个大字是他的手迹。山上还留下了众多他的手迹，被刻成摩岩石刻，保存完好。

在白云洞景区，民族英雄林则徐书写的「三湖书院」门匾。书院始建于清乾隆五十四年（1789年），因为位居于应潮湖、鉴湖、会龙湖之间而得名。1878年冬，年仅21岁的康有为离开岭南儒学大师朱次琦，来到三湖书院读书。出山后，办学上书，鼓吹维新，发动戊戌变法。三湖书院也被称为「戊戌摇篮」。

到了近代中国，一批深受西樵山文化熏陶的民族精英，如维新派领袖康有为、中国民族工业先驱陈启沅、一代武林宗师黄飞鸿等都是从西樵山走向世界。

晚清以来，西力入侵，外国帝国主义者挟着「船坚炮利」，坚逼中国大开门户。英国的军舰，除了在鸦片战争战争期间入侵珠航道外，三艘英航于1927年9月3日闯至太平墟，英军上岸抢掠，新旧两墟被焚铺屋111间。

抗日战争时，1937年11月，一艘日军浅水舰，在沙湾水道大涌口前搁浅，被沙湾、西樵、大坳等地民众抗日自卫队夹击，击毙日军6人，日军在小舰、飞机增援下，至潮涨后狼狈逃走。1938年，日军在大亚湾登陆，在西樵官山的爱国学生和青年组成了「广东人民抗日先锋官山独立第一支队」。「南海县县兵大队」的驻地在官山，有100多号人枪。附近的土匪听说打击日军，都下山参加抗日自卫队。当年农历10月12日(11月3日)，日军乘着橡皮艇从北江（现西樵大桥附近）官山涌入口处首次进犯官山。自卫队战士对日军进行迎头痛击，机枪、步枪、小钢炮、土炮、手榴弹齐响，击沉橡皮艇1艘，击毙、击伤日军10多人。日军在第二次进攻时，再次被自卫队击败。指挥的日本小队长也被自卫队的小钢炮打死。这反映出西樵人「保家卫国」的热情。

解放之后，西樵传统种的桑养蚕经济生产模式，逐渐退出历史舞台。在「改革开放」时期来临时，工业化的浪潮冲刷到了南海，「三来一补」定单式的三资企业相继深圳、东莞后来到南海兴起。西樵成为中国南方的布市市场。

在西樵山山脚下的世老村和大老村，一批在宋代以后在聚居在这里的老氏族人，繁衍生息，并且分布各地。