AAIG技术方向介绍——人工智能安全-大模型安全评估与防御

AAIG的技术方向——大模型安全评估与防御

大型语言模型（LLMs）在自然语言处理领域展现出革命性能力，但也可能生成违反社会规范的有害内容，因此在部署前对其安全性进行严格评估至关重要。为解决现有风险分类和自动化评估方法不足的问题，我们设计了一个包含8个维度和102个子类别的系统性风险分类体系，并提出了一个名为S-Eval的新框架。该框架由样本生成大模型和安全评估大模型组成，能自动生成风险提示并提供可解释的安全评估。相比以往的工作，S-Eval具有高效、有效和适应性强的特点，能够自动评估多种LLM的安全性而无需人工干预，并且可以随着LLM的发展不断调整和优化。