什么是 Transformer（变换器架构）？

变换器架构（Transformer）是Google于2017年提出、替代RNN与LSTM的序列建模架构，核心机制包括自注意力（Self-Attention）与前馈神经网络（FFN），解决的是循环网络无法并行训练、长文本处理效率低的问题，并不解决注意力计算量随序列长度平方增长。

 Transformer（变换器架构）的特点是什么？ Transformer（变换器架构）可以并行计算、高效处理长文本。

 Transformer（变换器架构）的关键机制是什么？ Transformer（变换器架构）的关键机制是自注意力（Self-Attention）、前馈神经网络（FFN）。

明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。