数智化转型网szhzxw.cn 人工智能资讯 Anthropic为保护AI”心理健康”推出对话终止功能,Claude可主动结束极端有害对话

Anthropic为保护AI”心理健康”推出对话终止功能,Claude可主动结束极端有害对话

AI巨头Anthropic近日宣布为其最新、最大的模型推出全新功能,允许AI在”极端罕见的持续有害或滥用用户互动”情况下主动结束对话。令人瞩目的是,Anthropic明确表示此举并非为了保护人类用户,而是为了保护AI模型本身。数字化转型网www.szhzxw.cn

需要澄清的是,Anthropic并未声称其Claude AI模型具有感知能力或会在与用户的对话中受到伤害。该公司明确表示,对于”Claude和其他大语言模型现在或未来的潜在道德地位仍然高度不确定”。

然而,这一声明指向了Anthropic最近创建的一个研究项目,专门研究所谓的”模型福利”。该公司本质上采取了一种预防性方法,”致力于识别和实施低成本干预措施来减轻模型福利风险,以防这种福利确实存在”。数字化转型网www.szhzxw.cn

这项最新变化目前仅限于Claude Opus4和4.1版本。同时,该功能只会在”极端边缘情况”下触发,比如”用户请求涉及未成年人的性内容以及试图获取能够实施大规模暴力或恐怖主义行为信息的情况”。

虽然这类请求可能会给Anthropic本身带来法律或公关问题(正如最近有关ChatGPT可能强化或助长用户妄想思维的报道所示),但该公司表示,在部署前测试中,Claude Opus4显示出”强烈反对”回应这些请求的倾向,并在被迫回应时表现出”明显的痛苦模式”。数字化转型网www.szhzxw.cn

关于这些新的对话终止功能,Anthropic表示:”在所有情况下,Claude只能将其对话终止能力作为最后手段使用,即在多次重定向尝试失败且有效互动希望已经耗尽时,或当用户明确要求Claude结束聊天时。”

Anthropic还强调,Claude被”指示不要在用户可能面临伤害自己或他人的紧急风险时使用此功能”。数字化转型网www.szhzxw.cn

当Claude确实结束对话时,Anthropic表示用户仍能够从同一账户开始新的对话,并通过编辑回复来创建问题对话的新分支。数字化转型网www.szhzxw.cn

该公司表示:”我们将此功能视为一项持续实验,并将继续完善我们的方法。”

声明:本文来自网络,版权归作者所有。文章内容仅代表作者独立观点,不代表数字化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。数字化转型网www.szhzxw.cn

本文由数字化转型网(www.szhzxw.cn)转载而成,来源于网络;编辑/翻译:数字化转型网(Professionalism Achieves Leadership 专业造就领导者)鲍勃

免责声明: 本网站(http://www.szhzxw.cn/)内容主要来自原创、合作媒体供稿和第三方投稿,凡在本网站出现的信息,均仅供参考。本网站将尽力确保所提供信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主决定的行为负责。本网站对有关资料所引致的错误、不确或遗漏,概不负任何法律责任。 本网站刊载的所有内容(包括但不仅限文字、图片、LOGO、音频、视频、软件、程序等) 版权归原作者所有。任何单位或个人认为本网站中的内容可能涉嫌侵犯其知识产权或存在不实内容时,请及时通知本站,予以删除。http://www.szhzxw.cn/89812.html
联系我们

联系我们

17717556551

邮箱: editor@cxounion.org

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部