宋靖康二年（1127），北方发生战乱，女真族入侵，徽宗、钦宗二帝被俘，山河变色。宋室仓皇南渡，康王赵构即位为高宗，改元建炎，四年后又改元绍兴，朝廷播迁杭州，定为“行在”（陪都）。至此，北宋历史谢幕，南宋时代开启。

建炎南渡，是中国历史的一个转折点。整个中原大地，掀起南徙狂潮。尤其是建炎三年（1129）六月，赵构下了一道诏书：“朕与辅臣宿将备御寇敌，接应中原。官吏士民家属南去者，有司毋禁。”就像下了一道南迁动员令，豪门巨族纷纷收拾细软，没命地向南逃窜。老百姓也如受惊的羊群一般，扶老携幼，紧随尘头之后，汹涌往南、再往南。大庾岭成入粤的必经之路，粤西的水路几被完全取代。难民在进入南雄后，在珠玑巷栖身，这里就成了一个中转站，再由这里散往广东各地，其中很大一部分，以竹结筏，继续向南逃，直逃到大地尽头，前面已是茫茫大海，波涛浩渺，再无去路，便在香山安下家来。

客家人都把福建宁化县石壁村奉为圣地。这里曾经是他们南逃的“中转站”。宁化地处闽赣交界，崇山峻岭环绕，号称“八山半水一分田，半分道路和村庄”，因此没有受到北方战火的直接荼毒。唐、宋年间，来自八省五十多个州县的中原移民，大多先在这里落脚，然后再分散流向各地。客家文化于焉萌蘖滋长。

在珠江口西侧，有一处叫唐家湾的地方，北邻大坞湾、金星门，南邻香洲湾，南距澳门约四塘汛。有史家考证，唐家湾所在地，是一个有淡水、有人居住的岛屿，外国商船须在此停靠和加淡水，然后可以续航前往广州。于是有人猜想，这个岛屿原来是没有名字的，藩商既然把中国称为“唐家”，而这里的岛屿是一个优良的港湾，便命名为“唐家湾”。这个大胆的猜想，包含了两重意思：一是唐家湾的“唐”，与唐朝的“唐”是同义的，二是唐家湾是藩商为之命名的。

不过，根据文献记载，唐朝时这里虽有人群村落，但规模很小，名为“横沟浦里”，并非姓“唐”。在唐姓迁入前，这里主要是江、程、冯三姓，人称“三家村”。本地唐姓一族，始祖唐陶（字居俊，号绍尧），南宋时从珠玑巷流落新会，传至第五世唐箕（字子英）再辗转迁入香山，初在釜涌境定居，后来嗣族分散到釜涌境、三乡、鸡拍等地。“唐家”作为地名，首次出现在文献上，是明嘉靖三年（1524）的《梁氏家乘》和明嘉靖三十三年（1544）《香山县志》，这时距离唐朝，已经很遥远了。

唐家湾“背山环港，内勾外锁”，风水非常好。唐家在这里扎根后，浸明浸昌，瓜瓞绵绵。在中国近代史上，唐廷植、唐廷枢、唐翘卿、唐丽泉、唐国安、唐绍仪等一大批显赫有名的人物，都是从唐家湾出来的。

上栅卢姓始祖卢隆（字始昌，号龙庄），南宋咸淳九年（1273）从珠玑巷迁到新会潮连卢鞭，再分散到各地，有的去了佛山，有的去了归善，有的去了东莞。留在潮连卢鞭的一支，传到七世祖卢彬（字芳松、大振，号霞山）时，迁入香山莲塘境（即上栅），被奉为上栅支系的始迁祖，称为平台“霞山支系”，又称“大卢”，其子孙分布在上栅、员山仔（今名员峰）、南大涌等地。这一系的人在清代从事茶叶贸易，出了不少富家巨室，都是门庭盛贵于一乡。另外还有细卢一系，是怎么迁入香山的，已难以追溯。

在宋室南渡这波移民潮中，有一个故事，在珠江三角洲流传甚广，那就是皇室苏妃私逃出宫，在珠玑巷隐居，最后导致牛田坊五十八村九十七人结伴南逃的故事。其中最详细的版本，是《槎滘罗氏族谱》中的《珠玑徙居事志》。故事梗概是这样的：

建炎年间，皇宫中有一名苏妃，貌美如花，但秉性贪淫，激怒了皇上，被贬入冷宫。后来她设法逃了出来，装扮成丐妇，行乞于京城。南雄府始兴县牛田坊有一富人叫黄贮万，奉官府之命，备船运粮上京，遇到苏妃在码头唱歌乞讨，黄贮万见她外表虽然污糟邋遢，但明眸皓齿，却是掩藏不住，举止动静，都与俗人不同，便把她收容在船上，回家后纳为宠妇，改姓张氏。后来虽然知道了她的身世，但自以为这事神不知鬼不觉，只要不对外声张，便可瞒天过海。

不久，皇上想起了苏妃，想召她出冷宫，才发现早已鸿飞冥冥，龙颜震怒，敕兵部尚书行文各省司道府县，严行访缉，但经年没有下落。直到黄贮万的一个家仆，因事被逐出门，怀恨在心，把这件事泄露出去，京师沸传。张英贵担心皇上责怪他访查不力，伪称南雄府始兴县牛田坊有贼作乱，流害平民，冒奏皇上准行，派兵进驻南雄府牛田坊，以建兵寨为名，要荡平这个地方。

牛田坊有岁贡生罗贵，亲戚在京做官，向他通风报信，把五十八条村的村民，吓得六神无主。罗贵和大家商量：“自祖传闻南方烟瘴．土广人疏，必有乐土可居。大家向南而去，但遇安处，冈山融结，田野宽平，又无势要之处，众相开辟住址，朝夕相见，仍如今日。”大家都说好，于是由罗贵领衔，九十八人会签，陈告县衙，准立文案、文引，再向府衙申请，立号编甲。绍兴元年（1131），这九十八人，各携家眷，挑着家什，坐着竹筏，浮浈水而下，急急如漏网之鱼，逃往珠江三角洲，然后四分五落，星散到各地，有的逃入南海，有的逃入新会，有的便逃到了香山。

这个故事的另一版本，主角仍然是宫中妃子，不过苏妃变成了胡妃，时间也从南宋初的绍兴元年（1131），移到了南宋末的咸淳八年（1272），相隔一百四十余年。这年皇帝举行祀典，由贾似道担任大礼使。祀典结束后，天降大雨，皇帝本应乘辂还宫，近臣胡显祖劝皇上改乘逍遥辇，皇上问：“问过大礼使了吗？”胡显祖随口回答：“大礼使已经同意了。”这事激怒了贾似道，认为礼仪之事，不容大臣干预，于是逼皇上罢免胡显祖，否则他就撂挑子。皇上迫于无奈，只好罢免了胡显祖，并把胡显祖的妹妹胡妃送出宫，削发披褐。

胡妃出宫后，并没有与青灯古佛为伴，而是流落街头为丐，被南雄保昌县富民张贮万（不姓黄，改姓张了）看中，带回保昌牛田坊，纳做箕帚之妾。后来这事在乡间渐渐传开，被官府知道，这是欺君大罪，牛田坊的人担心朝廷报复，急于逃灾躲难。于是珠玑巷九十七家共议南行，向县衙申请路引。其中就有小榄麦氏的先祖麦必荣、麦必秀、麦必达、麦必瑞、麦必雄兄弟五人，挈家二百余口，于咸淳九年（1273）二月十六日起程抵广州，五月十五日到香山黄旗角乡（即黄角），不久再分散到各属。其中一支，在元代至治三年（1323）迁至小榄滘口涌。

麦必达率领家人到黄角定居后，捐钱十万，建立石基以防水患。这是香山东北部（今番禺南部）最早的围垦和石堤工程。小榄小围、四沙小围、三灶岛等地，都留下先民筑围的痕迹。在两宋三百二十年间，香山、南海、东莞、番禺、三水、顺德、高要、博罗等地，共筑堤28条，长达两百多千米。

然而，关于皇妃的故事，还有多个版本，有的说苏妃出宫是绍定年间（1228—1233）事，因与东宫不和，越宫潜逃；也有说苏妃与胡妃是同一人，只是出宫后改了姓而已；也有说苏妃出宫后，隐姓埋名，在某庵堂里终其天年，所谓嫁了富家翁的事，纯属讹传；还有说胡妃出宫后，患了癫狂症，溺水而亡，贾似道却诬陷民间藏匿，以致珠玑巷的民众大起恐慌，纷纷举族奔逃。

《小榄麦氏族谱》认为：“究之事远年湮，传闻异词，岁月不无讹舛，而揆厥时势，当不离南渡后绍兴间者为近，决不在咸淳间时也。”然而，不管说绍兴年间、绍定年间，还是咸淳年间，都备受质疑。不少历史学者，甚至通过考证建炎年间有没有皇妃姓苏，咸淳年间有没有皇妃姓胡，哪一朝有岁贡生叫罗贵，宋代的南雄是称“州”而非“府”，官府文案、文引，与宋代格式不符等等破绽，来证明故事穿凿附会，不过是把正史、野史、坊间闲话、演义传奇，炒成一碟而已。

李常被视为中国最主要的姓氏之一。香山石岐的紫里、麻洲街、堑头街，良都恒美、库充，隆都涌边、涌头、岚霞、起凤环、大岚，得都李家村，榄都山边坊、东边涌、永宁、宜南，四字都小隐、李屋边，谷都茅湾、神湾等地，都分布着众多的李姓居民。小榄李姓是宋末避乱时从珠玑巷迁到荔枝山，再迁入小榄。《香山仁都麻洲李氏族谱》说，李氏先祖居南雄珠玑里，宋季避乱逃到新会，咸淳七年（1271）从新会徙居仁山下，再分散到各地。

北宋时代，香山大榄、小榄，四面环海，因境内有小山丘形似橄榄而得名，最初可作耕地的平原不多，而且地势较低，不足防潦，所以人烟稀少，只有渔民捕鱼为生。宋建隆元年（960），人们开始在永宁、九滘至第一埒，修筑了小榄小围，同时在横栏贴边，修筑四沙小围，以解决旱涝问题。

然而，大榄一带，还是烟水苍苍，蓢草茫茫，没有多少人居住。南宋绍兴十三年（1143），有窦姓的疍民，在这里建屋定居。随着大量中原人南迁定居，大榄飞驼岭西南侧，逐渐人烟稠穰，出现了规模较大的自然村落——冈头村。杜、毛、曹三姓，居冈头村及飞驼岭附近；曾、罗二姓，居凤山北麓冈底涌一带及西南麓（即竹源罗涌）一带。罗姓的始迁祖叫罗起凤，其家族颇为富有，在当地修了一座石墩木板桥，命名为“起凤桥”，还开凿了一条河涌，称为“罗涌”。

小榄何族，在龙廷槐的《柳州太守何敬亭墓表》中说，何族世居北方，北宋末年，中原多故，挈家南徙，流寓南雄珠玑巷，后迁香山小榄乡。而何大佐的《榄屑》引《南雄水木记》记载甚详：咸淳八年壬申（1272）胡妃被逐出宫为尼，第二年患癫狂症，溺水而亡。哄传贾似道怪罪民间收匿，准备大举搜捕。人民畏惧，举族奔逃。“时无舟楫，我祖兄弟砍竹为排，乘流飘泊。夜半突至连江口，潦水冲散”。一部分人逃到南海县西琳都华桂坊，后来迁到小榄凤山下，在凤山南麓三角社定居，以制作豆腐为业，因为凤山的泉水清冽甘甜，做出来的豆腐特别嫩滑，所以生意十分兴旺。后人为纪念先祖，便把该泉命名为“思源泉”。

隆都山谿角的刘姓，其始祖刘汝贤，是宋代宣和年间南雄刺史刘仲敏之子，绍兴末年由珠玑巷迁到香山土瓜岭，六传后迁到山谿角，光大其族，分支到石岐、龙聚环、涌头、寮后、龙眼树涌、坑口圩、北台、胡芦棚、湖洲、沙棚下、龙塘、库涌、新村等地。在齐东、古鹤等村，还有刘族的另一支派。

查香山各村各姓的族谱，南屏张族、容族，谭井刘族，平岚林族，大都陈族，大车林族，麻子陈族，濠涌严族，南塘简族，冈背陈族，坎下梁族，张溪梁族，古坝韩族，赤坎阮族，海州魏族，莆山陈族，南村曹族，永原缪族，众角阮族，北山杨族，四字都陈族，山场吴族、鲍族，鸦冈郭族、刘族，良都郭族、杨族，麻洲李族、蓝族，隆都刘族、余族，水塘头陈族，龙头环侯族，唐家湾唐族，婆石村陈族，过城高族、任族，小榄梁族、李族、麦族、孙族、朱族、何族、吴族、邓族、杜族、刘族、甘族、罗族、石族、李族，四字都黎村梁族，淇澳钟族、蔡族、苏族、姚族，大涌南文萧族，都宣称自己是两宋时期，从珠玑巷迁入的。

这些开村昌族、百世流芳的故事，在珠玑巷族谱中，比比皆是。他们真的都是从珠玑巷来的吗？也许是，也许不是。人们修族谱，是要让子子孙孙牢记住自己的根。但有时为了攀上“河洛移民”的“显贵血统”，在编撰族谱时，会无中生有给自己杜撰一个中原的根。这种现象，在珠玑巷的族谱中，亦习以为常。甚至有些世代在伶仃洋上浮荡的疍家人，也自称来自珠玑巷。有人忍不住质问：“你的足趾甲没有凹陷，哪里是中原人士？”他们笑嘻嘻地反驳：“我们有钱，坐船南下，所以足趾甲好好的。你们穷，靠两条腿从珠玑巷走来，还不把足趾甲走烂了？”

然而，无论如何，在南下移民的心目中，珠玑巷已经成了一个不可动摇的文化符号，是身世血脉的标志，代表着“天水家声”“南阳世泽”“洛水源流”“西平旧居”。如今在珠玑巷的门楼上，仍刻着“珠玑古巷，吾家故乡”八个大字。客家人也常用一句话来激励自己的子弟：“宁卖祖宗田，不丢祖宗言。”所谓祖宗言，就是他们与留在遥远北方的宫庙城社保持联系的精神纽带，是他们文化习俗和家学渊源的象征。不管他们是不是来自珠玑巷，但他们的精神，都和珠玑巷紧紧联在一起。这一点，殆无疑义。