上下文长度(Context Length)是指什么?

上下文长度(Context Length)是模型单次推理可处理的最大token数量、决定其能记住多少信息的架构参数,其核心构成包括长文档分析、多轮对话记忆与复杂推理链等任务,以及随之上升的计算与内存成本,解决的是模型记不住长输入信息的问题,…

参数(Parameters)是指什么?

参数(Parameters)是机器学习与统计模型中由训练数据学习得到的可学习变量,其核心构成包括经反向传播与梯度下降调整的取值、用于最小化预测误差的损失函数,以及参数量对表达能力的限定,解决的是模型把数据规律固化为可计算结构的问题,并不解决…

什么是Token分词(Tokenization)?

Token分词(Tokenization)是自然语言处理中把连续文本切分为一串语义单元的步骤,其核心构成包括词语、子词与字符三种粒度、字节对编码(BPE)等平衡词表与效率的算法,以及对未知词汇的兼容,解决的是原始字符串无法送入模型的问题,并…

什么是词嵌入(Word Embeddings)?

词嵌入(Word Embeddings)是自然语言处理中把词汇映射为低维稠密向量的表示技术,其核心构成包括让语义相近的词在向量空间中相互靠近、通过共现模式学习词向量,以及Word2Vec等常见模型,解决的是词语相似度无法直接量化的问题,并不…

什么是自注意力机制(Self-Attention)?

自注意力机制(Self-Attention)是大模型Transformer的核心组件、让每个位置同时关注序列全部位置并按相关度分配权重的机制,其核心构成包括查询、键、值向量与按相似度计算的注意力权重,解决的是顺序建模效率低、长依赖难捕捉问题…

扩散模型(Diffusion Model)是指什么?

扩散模型(Diffusion Model)是通过模拟噪声扩散与逆向去噪来学习数据分布的生成式AI模型,其核心构成包括训练阶段逐步加噪、生成阶段由随机噪声逐步去噪,以及图像生成与音频合成等应用,解决的是从无序噪声到有序样本的生成式建模问题,并…

混合专家模型(MoE)是什么?

混合专家模型(MoE,Mixture of Experts)是由多个专门化子网络与门控网络组成、只激活部分专家的架构,其核心构成包括专家子网络、门控网络路由与稀疏激活策略,以及数万亿参数下按激活专家量计费,解决的是参数规模与计算成本难以兼得…

Transformer 源自谷歌 2017 年论文 自注意力机制并行处理全部位置

Transformer(变换器)是谷歌2017年提出的序列建模网络,其核心构成包括自注意力机制、注意力权重矩阵与多头并行结构,以及相对循环神经网络(RNN)并行处理全部位置、捕获任意距离依赖的能力,解决的是训练效率低、长距离依赖难捕捉的问题…

大型语言模型(LLM)是指什么?

大型语言模型(LLM,Large Language Model)是参数规模在数十亿到数万亿之间、用于理解和生成人类语言的深度神经网络,其核心构成包括文本理解、内容生成、翻译问答与代码编写能力,解决的是自然语言任务重复从零训练的问题,并不解决…

基础模型(Foundation Model)是指什么?

基础模型(Foundation Model)是在大规模多样化数据集上预训练、提供通用能力的AI模型,其核心构成包括无监督预训练获得的语言理解、知识表示与推理能力,以及微调与提示工程适配,解决的是各任务从零训练成本高、重复劳动多的问题,并不解…

什么是世界模型(World Models)?

世界模型(World Models)是AI系统对现实世界运作机制的内在理解,其核心构成包括物理定律、社会规范、因果关系的建模与状态预测能力,解决的是纯Token概率关联难以解释现实世界状态的问题,并不解决依靠文字图像模拟思维、距离真正的世界…