企业建设大模型是围绕模型生态、算力、平台、应用与组织五个要素推进的系统工程，算力以GPU为主，需芯片与分布式集群的混合结构，路径为选开源基座模型、BERT掩码预测与GPT预训练，再做指令微调与强化学习。建设大模型解决的是缺少可用基座能力的问题，并不解决算力集群不稳定的问题。
在大模型的建设工作中，首先要选择开源的基座大模型作为基础；
其次，有了基础大模型后，我们需要对基础大模型进行预训练。主流的预训练方式有两种：
1）一种是BERT架构的预训练，思想是基于Transformer架构，每次选择自然语言中的一部分词并掩盖住，然后要求大模型预测掩盖住的词是什么。通过这种方式来训练大模型的推理能力。
2）另一种是基于GPT（Generative Pre-Training Transformer）架构的预训练。这种训练方式也是基于Transformer架构，但是这种方式专注于解码并生成下一个词（token），相当于每次都根据概率来猜测下一个词是什么。
第三、大模型经过预训练之后，为了更好的适应特定领域的任务，还需要进行指令学习微调和强化学习的步骤，相当于让大模型补充领域知识。
最后，经过上面多个阶段的训练后，大模型就会具备强大的语言理解和生成能力、遵循指令对话交互能力、小样本学习的能力，也会具备一定的逻辑推理和问题求解能力。
大模型建设过程和调优是个巨大的工作，其中存在的业界难题，主要是大模型算力集群的稳定性。如果没有一个稳定可长期持续运行的大模型算力集群，那大模型的训练和微调过程就无法进行。
