最近,媒体分析公司Newsguard发布的一项研究揭示了当前人工智能领域一个令人尴尬的现实:尽管AI视频生成技术正在迅速发展,主流AI聊天机器人几乎无法识别这些“深度伪造”,甚至开发者自己开发的工具也未能幸免。
研究显示,面对由OpenAI视频生成模型Sora制作的假视频时,OpenAI的ChatGPT表现令人失望,错误率高达92.5%。这意味着大多数Sora生成的视频,ChatGPT会误以为它们是真实录制。其他大型公司表现也不佳,xAI的Grok错误率高达95%,而谷歌的Gemini表现相对较好,但错误率仍维持在78%。
更令人担忧的是,现有的技术保护措施实际上毫无用处。虽然Sora会在生成的视频中添加可见的水印和隐形元数据,但研究发现这些标记可以通过免费工具或简单的“另存为”作轻松去除。一旦水印消失,聊天机器人不仅无法识别伪造,有时甚至“严重编造胡说八道”,引用虚构新闻来源来证明假视频的真实性。
针对这一问题,OpenAI承认ChatGPT目前无法判断内容是否由AI生成。由于顶级AI视频工具现在能制作出肉眼难以辨认的材料,且对策落后于技术发展,这无疑对虚假信息传播构成了重大风险。