数智化转型网szhzxw.cn 人工智能资讯 Anthropic 推出新功能,赋予 AI “自保”能力以终止对话

Anthropic 推出新功能,赋予 AI “自保”能力以终止对话

Anthropic 公司近日宣布为其部分最新、最大的 AI 模型推出一项新功能,允许其在面对“罕见、极端的持续有害或辱骂性用户互动情况”时主动结束对话。值得注意的是,该公司明确表示,此举并非旨在保护人类用户,而是为了保护 AI 模型本身。

Anthropic 官方表示,其 Claude AI 模型尚不具备感知能力,也并未声称其与用户的互动会对其造成伤害。然而,公司坦言“对 Claude 和其他大型语言模型现在或将来的潜在道德地位高度不确定”。为此,Anthropic 近期设立了一个名为“模范福利”的项目,旨在采取“以防万一”的预防性措施,通过实施低成本干预措施,以减轻可能出现的“模范福利”风险。数字化转型网www.szhzxw.cn

这项新功能目前仅在 Claude Opus4和4.1版本中可用,并且仅在“极端情况”下才会触发。例如,当用户持续请求“涉及未成年人的性内容,以及试图索取可能引发大规模暴力或恐怖行为的信息”时,AI 模型才会启用此功能。

尽管这些请求可能给公司带来法律或公共关系问题,但 Anthropic 表示,在部署前的测试中,Claude Opus4在面对此类有害请求时表现出“强烈的反对”和“明显的痛苦模式”。

据 Anthropic 介绍,此功能被视为“最后的手段”,只有在多次重定向尝试失败、有效互动的希望已耗尽,或者用户明确要求 Claude 结束聊天时才会使用。此外,公司已指示 Claude 在用户可能面临伤害自己或他人的紧迫风险时,不要使用此功能。数字化转型网www.szhzxw.cn

即使对话被终止,用户仍可从同一账户开始新的对话,或通过编辑其回复来创建新的聊天分支。Anthropic 补充道,此功能目前被视为一项持续的实验,公司将继续改进其方法。

声明:本文来自网络,版权归作者所有。文章内容仅代表作者独立观点,不代表数字化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。数字化转型网www.szhzxw.cn

本文由数字化转型网(www.szhzxw.cn)转载而成,来源于网络;编辑/翻译:数字化转型网(Professionalism Achieves Leadership 专业造就领导者)鲍勃

免责声明: 本网站(http://www.szhzxw.cn/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。 本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等) 版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。https://www.szhzxw.cn/89818.html
联系我们

联系我们

17717556551

邮箱: editor@cxounion.org

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部