预训练（Pre-training）是指什么？ 📅 2025年10月22日 预训练（Pre-training）是在大规模无标注文本上自监督学习语言规律与知识的训练阶段，其核心构成包括以预测下一个token为目标的训练任务、由此获得的语言理解与世界知识，以及衔接少量标注数据微调，解决的是通用能力从零训练成本过高的问题…