AI模型频频败北的智力测试,人类表现如何?
MIT科技评论指出,尽管AI在棋类等传统测试中突飞猛进,但在空间推理、记忆干扰型逻辑题(如Knights and Knaves)、抽象视觉推理(ARC-AGI)及直觉陷阱题上仍显著落后于人类。2024–2025年多项研究显示,当前大模型在New York Times Connections谜题中正确率从18%跃升至近100%,但其失败模式暴露了与人类认知的根本差异:缺乏3D心智操作、易被训练记忆误导、难以提取简洁通用规则。
空间推理:人类的先天优势
空间推理是人类认知的强项,也是AI至今难以逾越的障碍之一。典型的‘心理旋转’测试要求判断两个二维图像是否代表同一三维物体的不同视角。尽管多模态大模型已具备图像分析能力,但在该类任务上表现依然极差。研究者指出,即便‘世界模型’概念被频繁提及,当前语言模型仍无法像建筑师或机械工程师那样,在脑海中灵活操纵三维结构——这种具身化空间思维尚未被现有架构有效建模。
记忆与适应性边界:过拟合的双刃剑
大模型拥有海量训练数据赋予的‘超常记忆’,这使其在知识问答中碾压人类,却也埋下隐患:当新题与训练中见过的题目高度相似时,模型易忽略关键差异,直接复用旧答案。2024年谷歌与伊利诺伊大学厄巴纳-香槟分校联合研究证实,模型在‘骑士与无赖’(Knights and Knaves)变体题中频繁出错——该类逻辑谜题要求根据角色真假陈述推断身份,而微小的条件改动即可让模型沿袭错误模式。类似现象亦见于SimpleBench测试:题目表面简化,实则暗藏需即时识别的逻辑陷阱,人类能快速察觉,顶尖模型却屡屡‘踩坑’。
抽象与视觉推理:编码方式决定成败
AI不仅在3D空间推理上受挫,二维抽象推理同样薄弱。最具代表性的基准是ARC-AGI(Abstraction and Reasoning Corpus - Artificial General Intelligence),它要求从数个输入-输出示例网格中归纳出普适变换规则。有趣的是,当网格以数字字符串(如‘0,1,0;1,1,1’)而非图像形式输入时,模型性能显著提升,说明其本质依赖符号模式匹配,而非真正理解视觉关系。更关键的是,即使答对,模型常生成复杂且不可泛化的‘特设规则’,而人类则基于简洁的视觉概念(如‘镜像’‘平移’‘颜色翻转’)进行推理。尽管过去一年模型在ARC-AGI整体得分大幅提高,但部分题目(如文中所附)仍持续难倒主流系统。
直觉陷阱:人类独有的认知盲区
并非只有AI会落入思维陷阱。心理学家设计了另一类‘反向SimpleBench’题目:这些题目专攻人类固有认知偏差,例如锚定效应、可得性启发等,导致人类常凭直觉给出错误答案,而AI因无此类生物性启发式,反而可能答对。这揭示了一个深层事实:AI与人类的‘错误’源于不同机制——前者是架构与训练范式局限,后者是进化塑造的认知捷径;二者并非同一维度上的‘高低之分’,而是异构智能体的差异化表现。
本文为企业智脑(优秘智能)编译整理自公开资讯,信息与观点以原文为准,仅供参考。阅读原文(MIT科技评论) →