自然语言处理的起源与发展

自然语言处理(NLP)的发展脉络分三段:1950年图灵测试提出、90年代统计方法兴起让机器从语料学习规律、2013年Word2Vec把单词转成向量、2018年Transformer问世推动对话式大模型,解决早期规则系统难以覆盖复杂表达的问题,并不解决多义词与文化语境的歧义。

自然语言处理(NLP)的发展脉络分三段:1950年图灵测试提出、90年代统计方法兴起让机器从语料学习规律、2013年Word2Vec把单词转成向量、2018年Transformer问世推动对话式大模型,解决早期规则系统难以覆盖复杂表达的问题,并不解决多义词与文化语境的歧义。

  1. 早期尝试(1950s-1980s)
    NLP的开端与AI的诞生几乎同步。1950年,英国数学家图灵(Alan Turing)提出了“图灵测试”:如果机器能和人用语言交流,让人分不出是机器还是人,就算它有智能。这激发了人们对NLP的兴趣。
    早期的NLP靠“规则系统”。比如,程序员会手动写规则:如果句子有“天气”+“怎么样”,就去查气象数据。但这种方法很笨拙,语言一复杂(比如俚语或长句),规则就跟不上了。
  2. 统计方法的兴起(1990s-2000s)
    到了90年代,计算机算力提升,数据也多了起来。研究者开始用统计方法,让机器从大量文本中“学”语言规律。比如,通过分析一堆新闻,机器发现“天气”和“晴天”经常一起出现,就知道它们有关联。这种方法比规则系统灵活多了,像谷歌翻译最初就是靠统计模型。
  3. 深度学习的革命(2010s至今)
    上一期讲到的深度学习彻底改变了NLP。2013年,Word2Vec模型问世,它能把单词变成数字向量(比如“猫”和“狗”的向量很接近,“猫”和“桌子”就很远),让机器理解词义。2018年,Transformer模型(后面会细讲)横空出世,推动了ChatGPT这样的超级AI诞生。现在的NLP不仅能翻译,还能写诗、聊天,甚至模仿特定的人说话。
💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

RLHF是什么?

RLHF 是把人类偏好作为奖励信号来微调大语言模型的方法,通常先做监督微调、再训练奖励模型拟合人类偏好、最后用强化学习算法优化策略,核心是让模型的输出从能生成内…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

AI安全是什么?

AI 安全是研究人工智能系统面临的安全风险并建立防御机制的研究与工程领域,覆盖对抗攻击、提示词注入、数据中毒、模型窃取、成员推断、后门与偏见歧视等威胁面,核心是…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

混合专家模型是什么?

混合专家模型是把前向计算按输入路由到部分参数子集上执行的稀疏化架构,核心是在不激活全部参数的前提下扩大模型容量,能力包括门控路由、专家容量约束与负载均衡机制。它…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

AI制药是什么?

AI 制药是把人工智能应用于新药研发全流程的交叉领域,覆盖靶点发现、分子设计、化合物筛选、性质预测与临床试验设计,核心是用计算预测替代部分湿实验来压缩试错周期,…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

人工智能是什么?

人工智能是研究、开发用于模拟、延伸和扩展人类智能的理论、方法与技术体系,核心是用从数据中归纳出的概率性模型替代人工编写的确定性规则,能力包括机器学习、深度学习、…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

提示词注入是什么?

提示词注入是通过精心构造的输入内容绕过 AI 系统的指令优先级或安全限制、诱导大模型执行非预期行为的攻击技术,核心是把恶意指令伪装成正常输入混入上下文,能力包括…
📅 10-30 · 👁 2026年10月30日