自然语言处理(NLP)的主要挑战有三类:语义歧义难以判定(如同一句既可指落水也可指醉倒)、俚语方言与幽默等文化差异难以处理、小语种与冷门领域训练数据不足导致效果下滑,解决机器如何跨越语言模糊性准确理解人类意图的问题,并不解决训练数据覆盖不足带来的能力上限。
- 歧义性:语言太灵活,比如“老王掉进河里了”,可能是“落水”也可能是“醉倒”。机器很难完全搞懂。
- 文化差异:俚语、方言、幽默这些,机器往往抓瞎。比如,“666”在中文里是夸奖,但在英文里没意义。
- 数据依赖:NLP模型需要大量文本训练,小语种或冷门领域的数据不够,效果就差。