广州府初设十县，南海摆在首县，素有“南番顺”的说法，而这十县中就有顺口溜以记之——“南番顺香东，清水化城龙”。当时，南海县的治所设在广州西部，是商业最繁华的地方，县内又有名列全国四大镇之一的佛山镇，还有旧羊城八景中的“西樵云瀑”、“金山古寺”等名胜。南海县排在广州首府内的首位，故称为“首府首县”是当之无愧的。

在旅港南海商会接待室门口悬挂着苏轼手书的“南海衣冠”四个字横匾。横匾中所题的“南海衣冠”出自东晋文学家、堪舆家郭璞之口。

“南海衣冠”是有由来的。回顾历史，南海独立设置县学，始于宋代，而民间书院的设立，却盛于明代。明正德年至嘉靖年间，西樵山书院林立，学子盈干，谈论心性，推重实践，时人称之为“理学”，故西樵山有“理学名山”的美誉。据旧志载，康熙、乾隆、道光期间南海有书院社学达500所，属全省之冠。

“南海衣冠”便成为历代南海文教昌盛、人才辈出的代用语。称南海为“首县首府”也是有充分根据的。

自唐至清代，县人考上“进士”的多达470名。自唐朝开科取士以来，广东先后出过九名文状元，南海县占其三，即南汉干亨元年(公元917年)的简文会，南宋咸淳七年(1271年)的张镇孙，明弘治十二年(1499年)的伦文叙。此外还有清嘉庆四年(1799年)的武状元姚大宁。

此外，当过尚书(相当于现国务院属下的部长)的有11人，较著名的有霍滔、何维柏、陈子壮、戴鸿慈等。

近代的名人如康有为、詹天佑、陈启沅、何香凝、黄飞鸿等都是南海县在全国有影响的人物。