自然语言处理是让人工智能读懂、听懂并生成人类语言的技术,核心能力包括自然语言理解、自然语言生成、机器翻译与语音交互四类任务,2017年Transformer架构催生了BERT与GPT。它解决的是机器无法直接处理语言的问题,并不解决常识推理与物理约束。
自然语言处理是人工智能的一个分支,专门研究怎么让计算机”读懂、听懂、写出会说”人类语言。人类语言是地球上最复杂的符号系统——一个词在不同语境里有不同意思,一句话的语气不同意思可能完全相反,让计算机理解这些,比让计算机识别猫狗要难得多。
NLP 主要做几件事:
第一,理解文本的意思。这叫”自然语言理解(NLU)”。比如你说”明天上海会下雨吗?”,机器要理解你是在”询问天气”,而不是”陈述下雨”。机器需要分词、识别实体(”上海”是地名)、理解意图(”询问”)、分析情感(”问句”)。
第二,生成文本。这叫”自然语言生成(NLG)”。让机器写出像人写的东西——新闻稿、产品描述、邮件回复、小说、诗歌、代码。ChatGPT 就是 NLG 技术的巅峰表现。
第三,翻译。把一种语言翻译成另一种语言。早年是基于规则和统计,2014 年后深度学习(特别是 Transformer)让翻译质量飞跃。今天的 GPT、Claude、文心一言,都能做几十种语言的互译,质量已经达到专业翻译水平。
第四,语音交互。把人说的话变成文字(语音识别 ASR)、把文字变成人说的话(语音合成 TTS)。Siri、小爱同学、天猫精灵、智能客服电话,都是这个技术的应用。
NLP 这 10 年经历了 3 次大突破:
2014 年前后,深度学习开始替代传统统计方法,RNN/LSTM 让机器第一次能真正”理解”上下文。
2017 年,Google 提出 Transformer 架构——这是 NLP 领域的”原子弹”。Transformer 抛弃了 RNN 的串行结构,让模型能并行训练、能看更长的上下文。这一架构直接催生了 BERT、GPT。
2022-2023 年,大模型(LLM)爆发。GPT-3、ChatGPT、Claude、文心一言等大模型参数达到千亿级别,能写文章、写代码、做翻译、做总结,几乎能完成所有”涉及语言”的任务。
NLP 已经在各行各业深度应用:客服用它做 7×24 自动应答、律师用它审合同、医生用它写病历、记者用它写新闻稿、教师用它做作业批改。可以这么说:NLP 是 AI 离普通人最近的技术,也是 AI 商业化最成熟的方向之一。