数字化转型网人工智能专题
致力于人工智能特别是深度学习前沿技术研究与应用实践，实现安全、可靠、可信、可用的人工智能系统。主要研究方向包括：基础理论研究和技术创新两方面，具体为人工智能安全性、鲁棒性、可解释性、公平性、迁移性、隐私保护和因果推理等。近期，团队也在对大语言模型安全性问题，例如越狱攻击、安全评测、安全对齐、ReadTeaming等方向进行探索和研究。目前团队在NeurIPS、CVPR、ICCV、ICLR、EMNLP、IEEE S&P、USENIX Security、CCS等学术会议上发表多篇高水平论文，累计申请专利多项，参与多项国际国内技术标准制定，荣获中国人工智能大赛深度伪造视频检测A级证书、开源项目Easy Robust 获得荣获 IEEE 开源科学奖。
一、AAIG的技术方向——大模型安全评估与防御
大型语言模型（LLMs）在自然语言处理领域展现出革命性能力，但也可能生成违反社会规范的有害内容，因此在部署前对其安全性进行严格评估至关重要。为解决现有风险分类和自动化评估方法不足的问题，我们设计了一个包含8个维度和102个子类别的系统性风险分类体系，并提出了一个名为S-Eval的新框架。该框架由样本生成大模型和安全评估大模型组成，能自动生成风险提示并提供可解释的安全评估。相比以往的工作，S-Eval具有高效、有效和适应性强的特点，能够自动评估多种LLM的安全性而无需人工干预，并且可以随着LLM的发展不断调整和优化。
