大模型

浓厚的工程师文化，使得美国在基础研究上保持领先地位，但许多工程师对于大模型的应用并没有什么经验，此外落地应用涉及的交付、维护等环节需要人力支持，而国内企业创业的初衷就为落地而去，这使得中国在落地应用上有可能领先一步。

现在几乎所有AI大模型训练时采用的Transformer网络结构，是谷歌在2017年提出的，它具有优秀的长序列处理能力，更高的并行计算效率，无需手动设计以及更强的语义表达能力等特征。Transformer的提出让大模型训练成为可能。