自然语言处理(NLP)的工作流程分三步:文本预处理把句子分词去噪并转成向量,模型分析由2017年谷歌提出的Transformer用注意力机制并行处理整句,输出阶段按任务生成翻译、问答或对话结果,解决串行模型逐词处理易遗忘前文的问题,并不解决事实核验缺失导致生成内容失真。
- 文本预处理
先把原始语言“收拾干净”。比如,把“我爱北京!!!”变成标准格式“我/爱/北京”,去掉标点噪音,再把词变成数字(比如向量),让机器能计算。 - 模型分析
这里就轮到深度学习上场了。现在的主流是Transformer模型,它能同时看一句话里的所有词,理解上下文。比如,“他昨天去银行取钱”里的“银行”,Transformer知道是指“金融机构”,而不是“河岸”,因为有“取钱”这个线索。 - 输出结果
根据任务需求,模型生成结果。比如翻译就输出另一种语言,问答就输出答案,聊天就输出对话。
举个例子:你问“明天天气如何?”
- 预处理:拆成“明天/天气/如何”,转成数字向量。
- 分析:Transformer理解“明天”是时间,“天气”是主题,“如何”是询问状态。
- 输出:“明天多云,20到28度。”
五、自然语言处理的“明星”——Transformer
要说现代NLP的支柱,非Transformer莫属。它是2017年谷歌提出的一种深度学习模型,彻底改变了语言处理的方式。以前的模型(像RNN)是“串行”处理,一个词一个词地看,速度慢还容易忘掉前文。Transformer用“注意力机制”(Attention),能同时关注整句话的所有词,抓住关键信息。
比如,“我爱吃苹果,但不喜欢苹果手机。”Transformer能看出第一个“苹果”是水果,第二个是公司,因为它能同时分析“吃”和“手机”的上下文。这种能力让它特别适合翻译、对话等任务。ChatGPT、BERT、T5这些大名鼎鼎的模型,都是Transformer的“后代”。