Transformer 源自谷歌 2017 年论文 自注意力机制并行处理全部位置

Transformer(变换器)是谷歌2017年提出的序列建模网络,其核心构成包括自注意力机制、注意力权重矩阵与多头并行结构,以及相对循环神经网络(RNN)并行处理全部位置、捕获任意距离依赖的能力,解决的是训练效率低、长距离依赖难捕捉的问题…