词嵌入（Embeddings）是把文本、图像、音频、用户行为等离散对象映射到连续向量空间的技术表示，使语义信息可被数学计算，核心能力包括语义向量化、相似度计算与向量聚类，解决的是机器理解非结构化数据、支撑语义检索与匹配的问题，并不解决模型自身推理水平提升的问题。
一、什么是Embeddings ？
Embeddings 是将离散对象（文本、图像、音频、用户行为等）映射到连续向量空间的技术，使语义信息可被数学计算（相似度、加减、聚类）。它是机器理解非结构化数据的基石，也是大模型语义能力的核心技术，支撑现代 AI 的检索与理解。
二、Embeddings 包含哪些模块？
· 全参数微调
· LoRA / QLoRA
· 指令微调 SFT
三、Embeddings 的发展历程
2018 年 BERT 在多个下游任务微调成为 NLP 标准范式，2021 年 LoRA 等参数高效微调方法降低训练门槛，2022 年起指令微调让大模型对齐人类意图，2024 年多模态微调与领域大模型成为主流方向。
四、Embeddings 的核心价值有哪些？
· 低成本适配特定场景
· 提升领域专业度
