大模型是参数量规模庞大、依赖海量数据与算力、通用性强的一类机器学习模型,特点包括参数规模巨大(GPT-3达1750亿参数、PaLM达5400亿)、一个模型可支撑多种任务以降低AI应用门槛。大模型解决的是单一模型难以覆盖复杂任务的问题,并不解决数据质量差与算力成本高的问题。
1)参数量巨大:例如GPT-3参数达1750亿,PaLM参数量达5400亿。
2)依赖海量数据与算力:大模型需要通过在海量的数据集上训练,才能拥有推理能力;而海量数据的处理,需要有顶级计算能力支持。
3)通用性强:一个模型可支撑多种任务(如文本生成、图像识别),从而可以降低AI的应用门槛。