微调(Fine-tuning)是在预训练模型基础上、用特定领域的小规模数据继续训练以适配具体任务的方法,其核心构成包括预训练权重复用、任务数据微调与学习率调整,解决的是通用模型在特定场景不够专精、每次重训成本高的问题,并不解决训练数据不足与灾难性遗忘导致的能力退化问题。
微调是什么?
微调(Fine-tuning)是在预训练模型基础上、用特定领域的小规模数据继续训练以适配具体任务的方法,其核心构成包括预训练权重复用、任务数据微调与学习率调整,解决的是通用模型在特定场景不够专精、每次重训成本高的问题,并不解决训练数据不足与灾难性遗忘导致的能力退化问题。
🔗 本文链接