数字化转型网人工智能研习社关注人工智能从技术到落地的全方面，包含机器学习算法、深度学习架构、自然语言处理（NLP）技术、计算机视觉技术、AI+医疗健康、AI+交通出行、AI+金融、AI+制造、AI+消费品、AI+互联网、数据隐私和安全、算法公平性、产业生态建设、政策法规制定与完善等。
在人工智能平台方面，2016 年谷歌 DeepMind 开源了 DeepMindLab 3D 游戏平台，主要面向智能体的人工智能研究，代表性工作包括 AlphaGo、AlphaZero、具有计划能力的 MuZero和AlphaFold。
OpenAI 发布了 Universe AI 平台，通过世界范围内提供的游戏、网站或其他的应用程序评价和训练一个 AI 通用智能模型，代表性的工作是 Gym 训练接口和 GPT-3 系列。2019 年谷歌在Google Cloud Next2019 大会推出了 AI 平台，便于开发人员和数据科学家构建、测试和部署机器学习模型的端到端平台，包括
自动机器学习表格(AutoML Tables)获取数据库中的表数据并自动创建模型预测目标列值；
自动视频智能自动为视频添加注释和标签，使用目标识别对视频内容进行分类便于其搜索；
自动机器学习视觉智能(AutoMLVision)便于在边缘设备上部署并检测图片中的物体。
这些工具和服务可以组合起来应用在特定垂直领域，譬如新零售、搜索等。2018年脸书开源强化学习 AI 平台 Horizon 主要解决端到端行业应用的强化学习平台，主要应用在机器人和游戏等场景。
大模型方面，国际上比较有代表性的单位有 OpenAI、微软、谷歌、英伟达、Facebook 等。自从 GPT/Bert 模型提出后，深度学习预训练模型迎来了爆发式发展，GPT-2、XLNet、GPT-3 等模型的训练数据和参数呈指数上升，通过无监督学习条件下的“大数据+大模型”方式，各项自然语言理解任务的性能显著提升。
特别是 2020 年 5 月，OpenAI 发布超大规模的自然语言处理模型 GPT-3，采用 Transformer作为基本模型，通过设计基于自监督学习的预训练任务，从大量无标注的自由文本中学习语言知识。
GPT-3 几乎“无所不能”：自动答题、模仿写作、翻译、聊天、生成代码、数学分析、数据图表、玩游戏、制作简历、设计网页等，因此吸引了全球 AI 领域的关注，被广泛认为是通往通用人工智能(AGI)的重要途径之一。数字化转型网www.szhzxw.cn
GPT-3 采用预训练语言模型，通过高质量训练样本整理或生成、自监督学习和小样本学习等方法，证明了基于“大数据+大规模”的技术路线可显著提升下游任务的训练性能。虽然 GPT-3 在文本生成方面取得重大突破，可以回答问题、撰写论文、总结长篇文章、翻译语言、记录备忘，甚至创建计算机代码并具有巨大的潜力——如果它创建的计算机代码被证明有效，则可能对将来开发软件和应用程序的方式产生重大影响；GPT-3能够编写出人类难以区分的新闻文章，该能力的社会影响力未知。
但也存在许多不足之处：模型计算能力要求高，成本昂贵，一般机构无法承受；目前仍以英文文本为主，不具备跨模态信息处理能力；模型生成结果仍有待提高，特别是要求生成长而复杂的内容时；相对于填词、语法纠错，阅读理解和推理能力偏弱；目前不具有常识发现能力。
2021年1月Google率先发布了万亿大模型Switch Transformer，使用了稀疏激活（Sparsely Activated）技术，该技术只使用了神经网络权重的子集，或者是转换模型内输入数据的参数。在相同计算资源下，其训练速度上比 Google 之前研发的最大模型 T5-XXL 还要快 4倍。
它由混合专家（Mix of Expert，MoE）AI 模型范式发展而来。MoE模型是指将多个专家或专门从事不同任务的模型放在一个较大的模型中，并有一个“门控网络（Gating Network）”来选择为任何给定数据要咨询哪些专家。数字化转型网www.szhzxw.cn
2021年1月OpenAI发布了基于Transformer的语言模型DALL-E，使用了 GPT-3 的 120 亿参数版本，可实现从文本生成图像示例，生成的 图 像 可 以 像 在 现 实 世 界 中 拍 摄 的 一 样 。 与 此 同 时 发 布 的CLIP(Contrastive Language–Image Pre-training)是一个从互联网上收集的 4 亿对图像和文本来进行训练的多模态模型，可以从自然语言监督中有效地学习视觉概念，可以应用于任何视觉分类基准，只需提供要识别的视觉类别的名称，类似于 GPT-2 和 GPT-3 的“ zero-shotlearning”能力。
2021 年 10 月 12 日，微软和英伟达宣布了由 DeepSpeed 和Megatron 驱动的 Megatron-Turing 自然语言生成模型（MT-NLG），这是迄今为止训练的最大和最强大的解码语言模型。这个模型包括5300 亿个参数，与现有最大的模型 GPT-3 相比，参数数量是其 3 倍。数字化转型网www.szhzxw.cn
2021 年 12 月 OpenAI 发布了可为应用定制 GPT-3 的一键微调平台，开发人员现在可以在他们自己的数据上对 GPT-3 进行微调，创建一个适合他们应用的定制版本，只需要不到 100 个样本就可以开始感到微调 GPT-3 的收益，而且随着你添加更多的数据，性能会继续提高。
在 2020 年 6 月发表的研究中，研究者展示了用不到 100 个样本进行微调可以提高 GPT-3 在某些任务上的性能。OpenAI 还发现，结果质量会随着样本量翻倍有线性提高。定制使 GPT-3 在更广泛的使用情况下变得可靠，并使模型的运行更加便宜和快速。数字化转型网www.szhzxw.cn
用户可以使用几乎任何形状和大小的现有数据集，或根据用户反馈逐步增加数据。通过微调，一个用户能够将正确输出率从 83%提高到 95%。另一用户通过每周添加他们产品的新数据，将错误率降低了 50%。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网人工智能研习社包含哪些内容
数字化转型网人工智能研习社关注人工智能从技术到落地的全方面，包含机器学习算法、深度学习架构、自然语言处理（NLP）技术、计算机视觉技术、AI+医疗健康、AI+交通出行、AI+金融、AI+制造、AI+消费品、AI+互联网、数据隐私和安全、算法公平性、产业生态建设、政策法规制定与完善等。
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于AI云原生智能算力架构；编辑/翻译：数字化转型网Jack。
