聊天机器人难以识别假视频,甚至OpenAI自家的工具也被欺骗

最近,媒体分析公司Newsguard发布的一项研究揭示了当前人工智能领域一个令人尴尬的现实:尽管AI视频生成技 […]

最近,媒体分析公司Newsguard发布的一项研究揭示了当前人工智能领域一个令人尴尬的现实:尽管AI视频生成技术正在迅速发展,主流AI聊天机器人几乎无法识别这些“深度伪造”,甚至开发者自己开发的工具也未能幸免。

研究显示,面对由OpenAI视频生成模型Sora制作的假视频时,OpenAI的ChatGPT表现令人失望,错误率高达92.5%。这意味着大多数Sora生成的视频,ChatGPT会误以为它们是真实录制。其他大型公司表现也不佳,xAI的Grok错误率高达95%,而谷歌的Gemini表现相对较好,但错误率仍维持在78%。

更令人担忧的是,现有的技术保护措施实际上毫无用处。虽然Sora会在生成的视频中添加可见的水印和隐形元数据,但研究发现这些标记可以通过免费工具或简单的“另存为”作轻松去除。一旦水印消失,聊天机器人不仅无法识别伪造,有时甚至“严重编造胡说八道”,引用虚构新闻来源来证明假视频的真实性。

针对这一问题,OpenAI承认ChatGPT目前无法判断内容是否由AI生成。由于顶级AI视频工具现在能制作出肉眼难以辨认的材料,且对策落后于技术发展,这无疑对虚假信息传播构成了重大风险。

CXOU AI 未来大会 · 报名通道限时开启
💬 评论
🔗 本文链接

📰 你可能也喜欢

数智化转型网每日AI资讯 资讯

医疗 AI 走向全球普惠:Anthropic 携手 OpenEvidence,将临床决策支持工具免费覆盖百国

人工智能在医疗领域的应用正迎来重大的全球化突破。Anthropic 近期宣布与医学知识平台 OpenEvidence 达成战略合作,双方计划将基于人工智能的临床…
📅 09-24 · 👁 2026年9月24日
数智化转型网每日AI资讯 资讯

李飞飞谈 AI 安全:不能只让开发者评估自己的系统

据彭博社报道,AI 先锋李飞飞呼吁由独立机构和公共部门对 AI 进行更多监督。她认为,对于能力日益强大的 AI 系统,其安全评估不应完全交由开发这些系统的公司负…
📅 09-24 · 👁 2026年9月24日
数智化转型网每日AI资讯 资讯

Win11 惊现 AI 恶意软件 ClosedQuorum:入侵后自主决策,专挖最有价值信息

思科安全团队 Cisco Talos 于 9 月 22 日发布博文,披露了一款名为 ClosedQuorum 的 AI 恶意软件。该恶意软件主要针对 Windo…
📅 09-24 · 👁 2026年9月24日
数智化转型网每日AI资讯 资讯

Claude Code v2.1. 280 落地:Opus 5. 5 正式接棒默认王座,百万上下文配 4 美元骨折价把账单压进地心

Anthropic把那条偷偷内测的猛料坐实了。最新推送的Claude Code v2.1.280版本里,Claude Opus5.5(claude-opus-5…
📅 09-24 · 👁 2026年9月24日
数智化转型网每日AI资讯 资讯

苹果暂缓AI吊坠,AI可穿戴战略转向手表、耳机与智能眼镜

据彭博社报道,苹果已推迟一款配备摄像头的AI可穿戴吊坠项目。该设备原计划作为项链佩戴,也可固定在衣物或身体其他部位,通过摄像头持续采集视觉数据,并交由新一代Si…
📅 09-24 · 👁 2026年9月24日
数智化转型网每日AI资讯 资讯

OpenRouter发布 2026 嵌入模型选型指南:实测 19 款、 37 个目录条目,按场景把最佳候选摆上桌

嵌入向量模型决定了你的检索系统到底能捞回什么——它把每段输入压成一个向量,让相关的东西彼此靠近,应用于是能按语义而非字面去检索。正因如此,选哪个模型永远是RAG…
📅 09-24 · 👁 2026年9月24日