模型优化技术

知识蒸馏（Knowledge Distillation）：大模型压缩为小模型（如DistilBERT）。 量化感知训练（QAT）：训练时模拟低精度计算。 动态网络（Dynamic Networks）：…