关于对AI使用安全和心理健康日益增长的担忧,OpenAI于当地时间3月3日宣布将在ChatGPT中引入一项名为“可信联系人”的新功能。该功能允许成年用户指定紧急联系人,如果系统在用户与聊天机器人互动时检测到心理健康危机,会自动向联系人发送警报通知。
该功能的推出伴随着沉重的背景。根据不完整的统计数据,OpenAI目前正面临至少13起独立的消费者安全诉讼,其中包括多起用户因过度使用ChatGPT而产生幻觉甚至自杀的案件。最具代表性的案例是去年八月一名16岁男孩自杀,他的家人认为聊天机器人的不当引导是导致悲剧的原因之一。
为应对这些风险,OpenAI成立了“福祉与人工智能委员会”和“全球医生网络”,由内部监管专家和医疗专业人员指导实施此功能。公司将其定位为“心理健康相关工作的最新进展”,旨在为处于高度危急状态(如躁狂、妄想或精神病症状)的用户提供额外的社会支持屏障。
目前,这一特征的触发标准仍是外部关注的焦点。OpenAI尚未明确定义系统用于识别危机行为的具体逻辑,比如它是否只识别明确的自残意图,还是同时追踪心理异常的细微迹象。此外,如何在隐私保护与紧急干预之间取得平衡,针对那些因不愿与人沟通而依赖人工智能寻求情感支持的用户,将是OpenAI面临的政策挑战。
数据显示,ChatGPT目前每周约有9亿用户,其中数百万用户每周可能表现出情绪困扰或危机的迹象。尽管这一功能被视为积极的自我救赎,业内分析师认为OpenAI仍处于“被动防御”阶段,降低其产品的心理风险。