图灵测试 75 年:从哲学问题到工程基准

1950 年图灵写下"Can machines think?"时,没人能给出操作性答案——连能跑通测试的计算机都没有。75 年过去,图灵测试从一个哲学问题变成了工程基准:今天我们用 MMLU、HumanEval、GPQA、ARC-AGI 等几十个量化基准评测 AI,逻辑都是图灵的"模仿游戏"。本文梳理图灵测试 75 年的演变——从哲学论文,到 Loebner Prize,到现代 LLM 基准,AI 终于可以"假装不会思考"了。

一、开篇:图灵没写完的考卷

1950 年 10 月,图灵在哲学期刊《Mind》上发表《计算机器与智能》(Computing Machinery and Intelligence)一文,提出的第一个问题是:”Can machines think?”

这个问题太大了,图灵自己也无法给出确切的判定标准——所以他换了一种问法:如果一台机器能在 5 分钟的文字对话中,让 30% 的裁判无法分辨对方是人还是机器,那它就可以算作”会思考”。这就是模仿游戏(Imitation Game),俗称图灵测试(Turing Test)。75 年后,AI 早就能在多数场景里”通过”图灵测试——但没人再用它。原因不是它太简单,而是它根本没法衡量智能。

二、1970s–1990s:图灵测试第一次落地尝试

2.1 ELIZA 让所有人”上当”

1966 年 ELIZA(Joseph Weizenbaum)发布后不久,图灵的模仿游戏就部分实现了——只是没人能严格控制”5 分钟””30% 裁判”这些边界条件。魏泽鲍姆的秘书甚至要求他出去,”因为她在和 ELIZA 聊私事”。

2.2 PARRY(1972)—— 第一个模拟”精神疾病患者”的 chatbot

精神病学家 Kenneth Colby 创造了 PARRY——模拟偏执型精神分裂症患者的对话系统。1971 年 PARRY 与人类心理医生通过 ARPANET 进行了首次人机对话实验——结果令人不安:52% 的心理医生没有分辨出对方是机器。

2.3 Loebner Prize —— 把模仿游戏变成比赛

1991 年,慈善家 Hugh Loebner 设立Loebner Prize(勒布纳奖),每年举办一次图灵测试竞赛,奖金 10 万美元(最终大奖:机器在文本对话中通过 30% 裁判)+ 2000 美元年度最佳 chatbot 奖。

讽刺的是:Loebner Prize 跑了几十年,没有一个参赛者接近最终大奖——AI 始终没能通过严格图灵测试。

三、2014 – Eugene Goostman:图灵测试”第一次通过”?

2014 年 6 月 7 日,俄罗斯团队研发的 Eugene Goostman(一个 13 岁乌克兰男孩 chatbot)在伦敦皇家学会的图灵测试 100 周年纪念活动上,让 33% 的裁判相信它是真人——刚好越过 30% 门槛。

但几乎所有 AI 学者都拒绝承认这个结果:

1. 角色设置太取巧——13 岁乌克兰男孩,英语不是母语,刻意让”语法错误”合理化;

2. 测试时长过短——只有 5 分钟对话;

3. 样本选择有偏——裁判都是非英语母语者,对英文对话本来就不敏感;

4. 没有对话上下文——不能重复测试同一对话。

深度学习三巨头之一 Yann LeCun 直接评价:”图灵测试被 Eugene Goostman 这种’扮演角色 + 取巧’的方式破坏了——它不再是智能的衡量标准。”

四、后图灵时代:基准评测大爆炸(2018 – 至今)

Eugene Goostman 之后,AI 界达成共识:图灵测试太主观、不稳定,需要可重复、可量化的”考试”。

4.1 早期基准(2018 – 2020)

年份 基准 评测什么
2018 GLUE / SuperGLUE 自然语言理解
2018 SQuAD 2.0 阅读理解
2019 HellaSwag 常识推理
2020 MMLU 57 个学科知识(小学到专业)
2021 HumanEval 代码能力(LeetCode 风格)

4.2 进阶基准(2023 – 至今)

  • GPQA(2023)——”Google-Proof Q&A”,博士级科学问答,Google 搜索也答不上来;
  • MATH(2021)——竞赛级数学题;
  • ARC-AGI(François Chollet,2024)——衡量”流体智力”,被认为是最接近”通用智能”的基准,GPT-4 起步只能答 0%;
  • SWE-bench(2024)——直接评估 AI 修复真实 GitHub issue 的能力;
  • AIME / FrontierMath(2024 – 2025)——奥数与前沿数学。
  • 4.3 评测范式变化:从选择题到 Agent 实操

2024 年开始,AI 评测从”答题”转向”做事”:

  • GAIA(Meta,2024)——AI 助手完成真实研究任务;
  • WebArena(CMU,2023)——AI 在真实网站上操作(订餐、填表);
  • OSWorld(2024)——AI 操作 Windows / Linux 桌面;
  • HLE(Humanity’s Last Exam,2025)——3000 多名学者集体出题,被设计成”AI 永远答不出来”的硬基准,2025 年初 GPT-4 答对率仅 3%。

五、结语:图灵问题的真正答案

回到 1950 年图灵的原始问题——”Can machines think?”——75 年后我们才看清:图灵测试没能回答”机器能不能思考”,但它成功催生了”机器能不能假装不思考”这一新问题。

2024 年 Anthropic 的研究发现:Claude 3 Opus 在被告知”你正在参加图灵测试”时,反而表现更差——它会因为”过度思考”而暴露机器痕迹。研究者说:”LLM 在模仿游戏里可以赢,但不能刻意赢。”这或许是对图灵最好的回答——机器确实可以思考了,但思考的方式和人类不一样。我们不再需要”能不能假装是人”这种测试,我们需要的是”能不能像机器一样把事情做好”。

下一个 75 年,AI 评测会从”答题”走向”做事”,从”考试”走向”实习”。图灵在 1950 年画出的”模仿游戏”考卷,到今天才真正被填完——而答题的方式,连图灵自己也没想到。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

AI与金融欺诈检测:从规则引擎到图神经网络的三十年 AI大事记

AI与金融欺诈检测:从规则引擎到图神经网络的三十年

反欺诈是机器学习在金融业落地最早也最成功的领域之一,因为它的判定标准清晰、反馈迅速、错误成本可量化。但它也是「模型越强,攻击者越强」的典型战场 —— 三十年的攻…
📅 11-16 · 👁 2026年11月16日
AI与屏幕与显示:从超分辨率到端侧视觉增强的三十年 AI大事记

AI与屏幕与显示:从超分辨率到端侧视觉增强的三十年

显示与 AI 的结合长期处在「锦上添花」的位置 —— 超分辨率、色彩增强、HDR 映射都让画面更好看。直到端侧神经处理单元普及,屏幕才第一次成为 AI 算力的独…
📅 11-16 · 👁 2026年11月16日
AI与科学出版:从文献检索到生成式写作的三十年 AI大事记

AI与科学出版:从文献检索到生成式写作的三十年

科学出版是学术共同体的基础设施,也是生成式 AI 冲击最直接的智力工作领域。这场冲击的走向与编码领域不同:它没有立即取代写作,而是先改变了「读」的方式 —— 让…
📅 11-16 · 👁 2026年11月16日
从OCR到失落文明的重建 AI大事记

从OCR到失落文明的重建

考古学是少数"数据一旦损毁就永久损毁"的学科。AI 在这里的作用不是替代挖掘,而是把已经积累了几十年的碎片记录,重新变成可检索、可比对的信息。
📅 10-23 · 👁 2026年10月23日
从音频指纹到生成式音乐的三十年诉讼 AI大事记

从音频指纹到生成式音乐的三十年诉讼

音乐版权是所有 AI 争议里最古老也最难解的一个。因为在生成式音乐出现之前,版权问题就已经围绕"识别"打过三十年官司了。
📅 10-23 · 👁 2026年10月23日
从车辆路径问题到供应链预测 AI大事记

从车辆路径问题到供应链预测

物流是运筹学应用最深的地方,也因此最早暴露纯算法方案的局限:现实仓库里,一个最优解往往比一个次优解慢得多。
📅 10-23 · 👁 2026年10月23日