蚂蚁集团 AI 安全实验室近日正式开源大模型内生式安全护栏技术 SingProbe。该技术区别于主流的外挂式安全审核模式，通过复用基座模型推理过程中的隐藏状态，以不足0.5% 的额外计算开销，实现 token 级实时风险评估，可同步完成意图分类、安全检测和幻觉识别任务，在医疗等高风险场景优势突出，能在内容输出前实施毫秒级阻断。
目前 SingProbe 已适配29个主流大模型，是首个由大型科技企业开源的完整内生式安全技术解决方案，其开源代码和预训练模型已同步发布。
蚂蚁开源 SingProbe：以轻量探针实现大模型生成风险实时拦截，计算开销不足 0.5%
蚂蚁集团 AI 安全实验室近日正式开源大模型内生式安全护栏技术 SingProbe。该技术区别于主流的外挂式安全审核模式，通过复用基座模型推理过程中的隐藏状态，以不足0.5% 的额外计算开销，实现 token 级实时风险评估，可同步完成意图分类、安全检测和幻觉识别任务，在医疗等高风险场景优势突出，能在内容输出前实施毫秒级阻断。
🔗 本文链接
