标签：Sparse Attention

稀疏注意力机制（SparseAttentionMechanism）是一类通过限制每个token仅与输入序列的特定子集计算注意力权重，从而将标准Transformer自注意力从二次方复杂度降至近似线性或对数级别的注意力变体。