注意力机制为什么会突然火起来？

注意力机制（Attention Mechanism）是按相关性对输入加权、让模型聚焦关键线索的方法，核心包括自注意力计算与多头表示，解决的是循环网络难捕捉长距离依赖、无法并行训练的问题，2017年Transformer架构使其随BERT、GPT普及，并不解决长序列计算量激增。

Transformer用“自注意力”（Self-Attention）机制，让模型自己决定哪些信息重要。比如翻译句子时，它不只看当前词，还能同时“瞟”一眼整句话，理解上下文。比如：

• “The cat on the mat is sleeping”（“垫子上的猫在睡觉”），自注意力会让“cat”和“sleeping”互相“对上眼”，明白主语和动作的关系。

Transformer的成功催生了像BERT、GPT这样的超级模型，成了ChatGPT等对话AI的基石。

明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。