微调（Fine-tuning）是在预训练模型基础上用特定领域数据再训练、适配具体任务与输出风格，2021年LoRA等参数高效微调降低了门槛，核心包括少量数据再训练、强化场景表现、对齐输出格式，解决的是通用模型垂直行业表现不稳的问题，并不解决从零预训练才有的知识储备与通用能力问题。
一、什么是Fine-tuning？
Fine-tuning 是基于预训练模型在特定领域数据上进行二次训练的过程，使模型适应特定任务、领域知识或输出风格。相比从头训练，微调只需少量数据与算力即可显著提升模型在目标场景的表现，是企业落地垂直 AI 应用的核心路径。
二、Fine-tuning包含哪些？
· 训练后量化 PTQ
· 量化感知训练 QAT
· 权重量化
3、Fine-tuning的发展历程
2018 年 BERT 在多个下游任务微调成为 NLP 标准范式，2021 年 LoRA 等参数高效微调方法降低训练门槛，2022 年起指令微调让大模型对齐人类意图，2024 年多模态微调与领域大模型成为主流方向。当前是垂直行业落地与端侧适配的关键工具。
四、Fine-tuning的核心价值有哪些？
· 显著降低显存与算力需求
· 加快推理速度
数智化转型网www.szhzxw.cn
