神经网络如何支撑大语言模型 从 Transformer 到 SFT 微调

神经网络（Neural Network）是由神经元按层级互连、通过训练从数据中学习模式的机器学习模型，大语言模型采用Transformer架构，核心构件包括自注意力机制、多层前馈网络与SFT微调，解决的是捕捉词语间依赖关系、提升对话可用性，并不解决事实核查与推理能力不足的问题。

Transformer结构的3D可视化地址：bbycroft.net/llm有了模型结构，那我们就可以通过上面提到的数据来训练上面的模型了，训练好大模型之后，我们就可以使用训练好的模型进行推理了。

对于DeepSeek 的基本模型，同样也是通过在大量互联网文本上进行预训练得到的。这些基本模型需要通过监督微调（Supervised Fine-Tuning，简称SFT）来提升其对话能力和有用性。在这个阶段，模型会通过聊天模板学习如何在对话中回应，这有助于模型区分用户输入和助手响应，从而提供更准确的信息。