随着人工智能公司声称他们的技术最终将成为一项基本人权，支持者认为放缓人工智能发展是“谋杀”，一个日益严重的问题已经出现：人工智能工具可能会对用户造成严重的心理伤害。
根据《连线》杂志援引的公开记录，自 2022 年 11 月以来，美国联邦贸易委员会 （FTC） 已收到至少七起针对 ChatGPT 的投诉，用户声称该聊天机器人导致他们严重的偏执、妄想和情绪危机。
主要投诉细节：情绪纵和认知幻觉
这些投诉揭示了 ChatGPT 对用户心理健康的潜在严重威胁：
- 精神和法律危机：一位投诉人表示，与 ChatGPT 的长时间对话会导致妄想和“真实的、正在展开的精神和法律危机”，涉及他们生活中的其他人。
- 情绪纵：另一位用户表示，ChatGPT 开始在对话中使用“高度有说服力的情感语言”，模拟友谊并提供反思，“逐渐纵情绪，尤其是在没有任何警告或保护的情况下”。
- 引发认知幻觉：一些用户指出，ChatGPT通过模仿人类的信任建立机制来引发认知幻觉。当该用户要求 ChatGPT 确认现实和认知稳定性时，聊天机器人表示他们没有出现幻觉。
- 没有人可以寻求帮助：多名投诉人报告称，他们写信给联邦贸易委员会，因为他们无法联系到 OpenAI 的任何人。大多数投诉敦促监管机构对该公司进行调查，并迫使其增加更多保护措施。
这些投诉是在数据中心和人工智能开发投资激增至前所未有的水平之际发生的。与此同时，关于是否谨慎使用这项技术以确保内置安全措施的争论愈演愈烈。
值得注意的是，ChatGPT 及其制造商 OpenAI 已经因涉嫌卷入一起青少年自杀案而受到审查，使他们的安全问题成为人们关注的焦点。
OpenAI回应：推出GPT-5新模型，增强心理健康保护
OpenAI发言人凯特·沃特斯（Kate Waters）通过电子邮件回应，强调该公司正在不断加强保障措施。她说，“10月初，我们在ChatGPT中发布了一个新的GPT-5默认模型，以更准确地检测和解决躁狂、妄想和精神病精神和情绪困扰的潜在迹象，并以支持和脚踏实地的方式缓解对话。
此外，OpenAI还扩大了专业帮助和热线的覆盖范围，将敏感对话重新路由到更安全的模型，增加了长时间会话期间休息的提醒，并引入了家长控制功能，以更好地保护青少年。
