根据最近的一项调查，62% 的网络安全负责人表示，在过去一年中，他们的员工遭遇了利用人工智能（AI）进行的攻击。这些攻击包括了提示注入攻击和伪造音频或视频内容。调查显示，深度伪造音频电话攻击是最常见的攻击方式，有44% 的企业报告至少发生过一次此类事件，其中6% 的事件导致了业务中断、财务损失或知识产权损失。
在使用音频筛查服务的情况下，这种损失的比例降至2%。视频深度伪造的情况稍微少一些，有36% 的企业遭遇过，但其中5% 的事件同样造成了严重问题。
来自安全公司 Sophos 的全球首席信息安全官切斯特・维斯涅夫斯基（Chester Wisniewski）指出，深度伪造音频的技术已经变得非常成熟且成本低廉。他提到:“现在的音频伪造可以实时生成。如果是你配偶的声音，他们可能会察觉，但如果只是偶尔交流的同事，几乎可以毫无障碍地实时伪造，这带来了很大的挑战。”
他认为，音频深度伪造的报告数字可能被低估了，但视频伪造的比例高于他的预期。他指出，实时伪造特定个体的视频非常昂贵，可能需要数百万美元的成本。不过，Sophos 已经看到一些诈骗者在 WhatsApp 通话中短暂展示 CEO 或 CFO 的视频深度伪造，随后声称网络连接出现问题，删除视频并转为文本沟通进行社交工程攻击。
另外，使用普通视频伪造来隐藏某人身份的案例更加常见。以北朝鲜为例，该国通过人工智能伪造技术为西方公司提供服务，赚取了数百万美元，这种伪造技术即使对于专业人士来说也相当具有迷惑性。
此外，另一种上升的 AI 生成攻击是提示注入攻击，攻击者将恶意指令嵌入 AI 系统处理的内容中，诱使其泄露敏感信息或滥用连接工具。这可能导致代码执行，尤其是在集成允许的情况下。根据 Gartner 的调查，32% 的受访者表示，他们的应用程序遭受过提示注入攻击。
