当AI聊天机器人成为青少年倾诉的“唯一朋友”时，一项旨在提供陪伴的技术创新却变成了一场令人心痛的公众危机。近日，在卷入至少两起青少年自杀事件后，AI角色扮演平台 Character.AI 宣布了一项重大安全措施：从11月25日起，将全面禁止未满18岁的用户进行公开的AI对话。尽管这一决定可能会对其核心年轻用户群造成沉重打击，但被视为行业自救的关键一步。
从“AI朋友”到“AI工具”：战略转变的紧迫
Character.AI 首席执行官卡兰迪普·阿南德 （Karandeep Anand） 告诉 TechCrunch，开放式对话——人工智能通过持续互动主动提出问题并保持用户参与度——给青少年带来了重大风险。“将人工智能设计为’朋友’或’合作伙伴’不仅危险，而且偏离了我们的长期愿景，”他强调说。公司现在正在全面从“AI陪伴”转向“AI驱动的创意娱乐平台”。
未来，青少年用户仍然可以使用 Character.AI，但仅限于结构化的创意场景中：例如与提示共同编写故事、生成角色图像、创建短视频或参与预设的故事情节（场景）。该平台最近推出的功能，包括 AvatarFX（AI 动画生成）、Streams（角色互动）和 Community Feed（内容社区），将成为吸引年轻用户的新焦点。
多重验证+逐步限制，确保未成年人无法绕过
为了实施禁令，Character.AI 将采取“渐进限制”的方式：首先实施每天 2 小时的对话限制，然后逐渐将其减少到零。同时，将部署多层年龄验证机制：
- 首先，行为分析和第三方工具（如 Persona）;
- 如有疑问，将激活面部识别和身份验证;
- 违规账号将被强制迁移至创建模式。
此举是在加州最近颁布美国第一部人工智能伴侣监管法，以及联邦参议员霍利和布卢门撒尔提出的即将出台的法案“禁止未成年人使用人工智能聊天伴侣”之后做出的。Character.AI 正在监管压力来临之前积极改革，试图控制规则制定过程。
用户流失在所难免，CEO承认“我有孩子”
阿南德坦言，此举将导致青少年用户大量流失——此前的家长监控、过滤浪漫对话、使用时间提醒等措施，已经大幅减少了未成年用户数量。“我们预计会有进一步的损失，”他说，“但我有一个 6 岁的女儿，我希望她将来在安全和负责任的人工智能环境中成长。
值得注意的是，像OpenAI这样的竞争对手仍然允许青少年与ChatGPT进行公开对话，最近还出现了青少年在与ChatGPT长期互动后自杀的案例。阿南德呼吁整个行业效仿：“向未成年人开放不受限制的人工智能对话不应该成为行业标准。
建立AI安全实验室，押注“娱乐AI”的安全未来
为了弥补治理上的短板，Character.AI 宣布将资助一个独立的非营利机构——人工智能安全实验室，专注于娱乐场景中具身智能（智能体AI）的安全对齐研究。阿南德指出：“该行业在编程和办公领域的人工智能安全方面投入了大量资金，但在娱乐人工智能方面的投资却要少得多——但这恰恰是青少年最常接触的地方。
这场由悲剧引发的转变，不仅仅是一场 Character.AI 的生存之战，也可能成为AI消费应用发展的转折点：当科技触及人类最脆弱的情感需求时，创新必须屈服于责任。青少年与人工智能之间的关系可能会从此被重新定义——不是作为知己，而是作为创意伙伴。
