迁移学习有哪些“注意事项”？

• 任务匹配：如果预训练任务和新任务相差太远，效果会打折。比如，用风景模型认猫狗，可能不能抓住自己的细节。
• 过风险：大象数据太少，模型可能“死记硬背”。比如，只见过短毛猫，遇到长毛猫就懵了。
• 依赖基础：预训练模型不好，迁移也救不了。得挑个靠谱的“大师笔记”。
• 调整噪音：参数不太方便改，参数调不好，可能还原了具体的好模型。

迁移学习（Transfer Learning）实施的注意事项有预训练任务与新任务需匹配、样本过少时防止过拟合、须挑选质量可靠的基础模型、微调时控制参数幅度，并常以冻结层只改末几层降低风险，解决迁移效果不稳定与容易学坏的问题，并不解决基础模型能力不足或领域差异过大带来的性能上限。