一、什么是Embeddings ?
Embeddings 是将离散对象(文本、图像、音频、用户行为等)映射到连续向量空间的技术,使语义信息可被数学计算(相似度、加减、聚类)。它是机器理解非结构化数据的基石,也是大模型语义能力的核心技术,支撑现代 AI 的检索与理解。
二、Embeddings 包含哪些模块?
· 全参数微调
· LoRA / QLoRA
· 指令微调 SFT
三、Embeddings 的发展历程
2018 年 BERT 在多个下游任务微调成为 NLP 标准范式,2021 年 LoRA 等参数高效微调方法降低训练门槛,2022 年起指令微调让大模型对齐人类意图,2024 年多模态微调与领域大模型成为主流方向。
四、Embeddings 的核心价值有哪些?
· 低成本适配特定场景
· 提升领域专业度