数字化转型网人工智能研习社关注人工智能从技术到落地的全方面，包含机器学习算法、深度学习架构、自然语言处理（NLP）技术、计算机视觉技术、AI+医疗健康、AI+交通出行、AI+金融、AI+制造、AI+消费品、AI+互联网、数据隐私和安全、算法公平性、产业生态建设、政策法规制定与完善等。
一、大语言模型未解决的问题和挑战
本部分将深入探讨与LLM相关的未解决问题，这些问题最近成为人工智能研发的焦点。下面将阐明这些未解决的问题的重要性，强调它们对各种应用和整个人工智能环境的影响。
问题1：伦理与负责任的人工智能。如何确保合乎道德地使用LLM的问题仍未解决。对人工智能生成的内容进行过滤、审核和问责仍然是个问题。针对解决由LLM生成的虚假信息、仇恨言论以及有偏内容，需要不断进行研究与开发。数字化转型网www.szhzxw.cn
问题2：多模态整合。虽然LLM主要关注文本，但对能够理解和生成包含文本、图像和其他媒体类型内容的多模态模型的需求也在不断增长。将多种模态整合到一个模型中会给数据采集、训练和评估带来困难。
问题3：能效。训练和部署LLM对环境的影响仍然是一个亟待解决的问题。必须开发更节能的训练方法、模型架构和硬件解决方案，以减少LLM的碳足迹。
问题4：安全与对抗性攻击。LLM很容易受到对抗性上下文的影响，轻微的输入修改可能会导致意想不到的、有潜在危害的输出。针对这种情况提高模型的稳定性和安全性是一个重要的研究领域，尤其是在网络安全和内容审核应用方面。
问题5：隐私与数据保护。随着LLM的功能越来越强大，用户对隐私和数据保护的关注也越来越多。如何让用户在不泄露个人信息的情况下与这些模型进行交互是一项挑战。有必要对隐私保护技术和法规遵从性进行研究。数字化转型网www.szhzxw.cn
问题6：泛化与小样本学习。LLM在数据丰富的情况下表现出色，但在需要少量示例或特定领域知识的任务中却举步维艰。提高LLM的泛化能力，使其在有限的训练数据中表现出色，是一个至关重要的研究领域。
问题7：跨语言和低资源环境。在资源和数据有限的语言和地区，使LLM更易获取和更有效是一项持续的挑战。全球应用需要开发跨语言迁移学习和低资源语言支持技术。
二、大语言模型未解决的挑战
LLM具有强大的文本生成能力，在众多领域取得了广泛的关注和应用。然而，这种陡增的技术依赖也暴露出许多挑战和问题。本部分将归纳并探讨与LLM有关的十大挑战。
挑战1：数据复杂性与规模。在LLM时代，用于训练模型的数据集的规模和复杂性是最重要的挑战之一。这些模型通常是在庞大的开源文本数据集上进行训练的。这些数据集非常广泛，几乎不可能了解或研究其全部信息。这就引起了人们对训练数据的质量和偏差以及无意传播有害或不准确信息的可能性的担忧。
挑战2：词元化敏感性。为了进行分析，LLM在很大程度上依赖于词元化（Tokenization），即把文本分割成较小的单元（词元）。词元化对语言处理和理解至关重要，但也会带来挑战。例如，一个句子的含义可能会因为词元的选择或词语的排序而发生重大变化。在生成文本时，这种对输入措辞的敏感性可能会导致意想不到的结果，例如基于微小输入改变的对抗性攻击和输出变化。
挑战3：计算资源需求。LLM的训练是一个计算密集型过程，需要大量的硬件和能源资源。要训练大模型，必须使用超级计算集群或专用硬件，而这种资源密集型训练对环境的影响已引起人们的关注。大规模训练LLM会消耗大量能源，从而增加人工智能行业的总体碳足迹。数字化转型网www.szhzxw.cn
挑战4：微调复杂性。虽然预训练能让LLM对语言有广泛的理解，但要让这些模型适应特定任务，还需要进行微调。微调需要在较小的数据集上对模型进行训练，通常需要人工标注者对示例进行标注。由于需要构建特定任务的数据集和大量的人工干预，这一过程既耗时又昂贵。
挑战5：实时响应。LLM出色的训练能力是以推理速度为代价的。使用这些模型生成实时响应或预测可能会很慢，从而限制了它们在聊天机器人或推荐系统等应用中的适用性，在这些应用中，低延迟响应对用户满意度至关重要。
挑战6：上下文约束。由于上下文窗口（Context Window）有限，LLM在生成文本时只能评估有限数量的前置词元。在处理冗长的文档或进行冗长的对话时，这种限制会带来困难。在冗长的文本序列中保持连贯性和相关性是一项挑战，因为模型可能会忽略或丢失相关信息。
挑战7：有偏和非期望输出。在输出中，LLM会显示有偏或非期望特征。这是由于训练数据中固有的偏差，这些偏差被模型吸收并反映在其响应中。这种偏差可能表现为令人反感的、歧视性或有害的内容，因此必须得到解决和缓解，以确保负责任地部署人工智能。
挑战8：知识时间性。LLM利用互联网上的历史数据进行学习，其知识受限于特定日期之前的信息。因此，它们可能无法获得最新的信息或事件。当用户希望得到最新回复或对话涉及近期事件时，这就会造成问题。
挑战9：评估复杂性。LLM的评估存在很大困难。许多现有的评估指标不足以捕捉模型性能的细微差别，这就对指标的有效性提出了质疑。此外，这些指标还容易被操纵，从而对模型能力得出不准确的结论。要评估LLM的实际性能和局限性，就必须采用稳健可靠的评估方法。数字化转型网www.szhzxw.cn
挑战10：动态评估需求。通常情况下，对LLM的评估需要将其输出结果与静态基准或人工撰写的基本事实进行比较。然而，语言是动态变化的，预设的评估数据可能无法充分反映模型对语言和语境变化的适应性。这一困难凸显了对更加动态和不断更新的评估框架的需求。
声明：本文来自网络，版权归作者所有。文章内容仅代表作者独立观点，不代表数字化转型网立场，转载目的在于传递更多信息。如有侵权，请联系我们。数字化转型网www.szhzxw.cn
数字化转型网人工智能研习社包含哪些内容
数字化转型网人工智能研习社关注人工智能从技术到落地的全方面，包含机器学习算法、深度学习架构、自然语言处理（NLP）技术、计算机视觉技术、AI+医疗健康、AI+交通出行、AI+金融、AI+制造、AI+消费品、AI+互联网、数据隐私和安全、算法公平性、产业生态建设、政策法规制定与完善等。
本文由数字化转型网（www.szhzxw.cn）转载而成，来源于 元战略；编辑/翻译：数字化转型网Jack。
