儿童学语言远超AI:数据效率之谜
MIT科技评论指出,人类儿童仅凭约1000万至3000万词的语言输入即可掌握母语,而当前大模型需训练数万亿词——数据量相差百万倍。这一‘数据效率差距’暴露AI学习机制的根本局限,也挑战语言习得理论。认知科学家正试图从儿童身上逆向寻找更高效AI的学习路径。
儿童仍是语言学习的唯一‘奇迹’
人类已持续使用语言至少10万年,但在这漫长历史中,唯一能以近乎完美流利度习得人类语言的,始终只有人类幼童。如今,这一纪录被AI并列——ChatGPT发布仅四年,Claude、DeepSeek、GPT系列等大语言模型已能自然对话、灵活应答,甚至令人难辨人机。然而表象之下存在巨大反差:教会计算机使用人类语言,仍需‘非人’规模的数据。一个LLM在预训练阶段处理的词元(tokens)数量,轻松可达普通人一生接触母语词汇量的10万倍,更远超婴幼儿在一岁前实际听到的全部语言输入——而此时他们往往已开始抓住语言的核心规律。
百万倍差距:数据效率鸿沟
斯坦福大学认知科学家迈克尔·C·弗兰克(Michael C. Frank)评价道:“近期进展令人惊叹,但我们仍需焚毁整片森林、刮取全人类知识总和,才能复现那个在自家客厅里一年内就完成的语言里程碑。”这一悬殊差异被称为“数据效率差距”(data efficiency gap)。它既令认知科学家着迷,也为AI架构师设下核心挑战:为何最先进语言模型仍被孩童远远甩在身后?
Meta两年前发布的开源大模型Llama 3.1,预训练即消耗15万亿词元;前沿模型预训练数据量或已达其10倍。但互联网可用文本终有极限——乔治城大学认知科学家伊桑·戈特利布·威尔科克斯(Ethan Gotlieb Wilcox)指出,数据枯竭可能早在2030年代初就到来。而儿童证明:更少,完全可行。一名成长于语言丰富环境的青少年,累计听闻词汇量约1亿;若计入阅读,20岁时或达3亿词。相比之下,Claude所‘见过’的语言量,相当于一座城市一整代人的语言经验总和;若将现代LLM训练所用全部词元印成纸张,堆叠高度将超越国际空间站;而儿童的1亿词仅高约20米。
从‘奇迹’到科学:未解的核心问题
多数人直到成年后学外语,才真正体会到语言之难:过去完成时、颤音、鼻化元音、属格、短语动词、语法性别……这些常令成人学习者痛苦不堪。但母语习得却几乎毫不费力。幼儿通常在听过约1000万词(上限约3000万词)后,便能产出合乎语法的句子。“这简直不可思议,”弗兰克强调,“若用3000万词训练GPT-2,你得到的只是一个胡言乱语生成器,绝不是个孩子。”
婴儿如何做到这一点?答案仍是谜。学界清楚儿童各阶段学到了什么、如何使用语言,但对其底层机制知之甚少。最根本的疑问在于:为何婴儿天生具备语言习得能力?人类语言的句法——即组合词语构成句子的规则——包含递归与嵌套结构,使我们能以有限词汇表达无限思想。这种复杂性本应令婴儿望而却步,他们接触的语言不过是浩瀚海洋中的一滴水,却偏偏能从中推断出整片深海的图景。
逆向启示:为AI寻找新路径
破解儿童语言学习之谜,不仅关乎认知科学对人类心智的理解,更直接影响AI未来。研究者正尝试通过机器模型验证关于人类学习的假说:我们是否生来具备‘语言本能’?抑或儿童纯粹依靠经验也能学会语言?语言处理方式是生物特性的偶然结果,还是反映了语言本身可被习得与使用的某种普适约束?若能逆向工程儿童学习机制,或将催生数据效率更高、更易部署于视频理解或多语种小众社区服务的下一代AI模型。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MIT科技评论) →