AI诈骗日益盛行 我们该如何应对?

深度伪造(Deepfake)是用生成模型伪造图像、视频与音频的技术,核心能力包括换脸、变声、批量产出几可乱真的短视频。解决的是机构难以分辨合成内容真伪的问题,2019至2020年深度伪造网络内容数量增加900%。并不解决生成算法的根除与检测绕过。
  • 2022年,有66%的网络安全从业者在其组织内经历过深度伪造的攻击。
  • 研究人员预测,到2026年,多达90%的网络内容都有可能将是AI合成的。
  • 随着新的检测技术的发展以及对教育和道德考虑的持续关注,我们可以共同打击深度伪造犯罪,并确保深度伪造技术用于人类共同的利益。

深度伪造(Deepfake)是用生成模型伪造图像、视频与音频的技术,核心能力包括换脸、变声、批量产出几可乱真的短视频。解决的是机构难以分辨合成内容真伪的问题,2019至2020年深度伪造网络内容数量增加900%。并不解决生成算法的根除与检测绕过。

2022年,有66%的网络安全从业者在其组织内经历过深度伪造的攻击。

一个例子就是利用改变声音的软件来冒充首席执行官或其他高级公司管理人员,制作虚假的音频信息。这些修改过的音频信息往往包含要求收件人转账或披露敏感信息的紧急请求。

研究表明,银行业特别关注深度伪造攻击,有92%的网络从业者担心银行业的深度伪造欺诈行为。个人银行和支付等服务尤其令人担忧,且这种担忧并非毫无根据。举例来说,在2021年,就有一位银行经理被骗将3500万美元转入一个欺诈性账户。

其他行业也能感受到深度伪造对企业带来的高昂损失。在过去的一年里,有26%的小公司和38%的大公司经历过深度伪造欺诈,导致的损失高达48万美元。

深度伪造也有可能破坏选举结果、社会稳定甚至国家安全,特别是在虚假信息活动的背景下。在某些情况下,深度造假被用来操纵舆论或传播假新闻,导致公众的不信任和混乱现象。

一、用人工智能对抗人工智能

人工智能(AI)的发展大大增加了深度伪造的风险。现今人工智能算法(包括生成模型)创造出的内容与真实图像、视频或音频记录几乎难以区分。此外,这些算法获得成本也较低,并且能够通过非常容易获得的数据集进行训练,使网络犯罪分子更容易为网络钓鱼攻击和诈骗内容创造令人难辨真伪的深度伪造内容。

不过,随着深度伪造技术的发展,能够检测这种威胁的技术和工具也在不断出现。现在,深度造假检测器可以帮助从生物特征(如心跳或人声频率)确定视频或音频内容是否真实。

尽管如此,人工智能仍然是一把双刃剑。犯罪分子甚至可以训练模型来生成专门用于逃避当前深度造假检测工具检测的合成内容,使事情进一步复杂化。

二、深度伪造与身份盗窃的双重风险

除了深度伪造自身带来的巨大风险以外,这种技术还会加重其他网络犯罪活动的风险,如身份盗窃。例如,深度伪造可以用来制造假身份证件,使网络犯罪分子更容易冒充个人身份或进入安全系统。此外,深度伪造可用于创建个人的虚假音频或视频记录,这可用于敲诈或勒索他人。

反过来,身份盗窃也会加剧深度伪造骗局所带来的风险。例如,网络犯罪分子可以利用偷来的身份制造更有说服力的深度伪造内容,或者利用深度伪造进一步实施身份盗窃。

为了减轻这些复杂的风险,我们必须采取多管齐下的方法。这包括投资于更复杂的深层造假检测技术以及改进身份验证系统(包括使用生物识别和活体验证),以防止深度伪造在身份盗窃中被滥用。

三、潜在的解决方案

为了应对这些新出现的威胁,我们必须继续开发和改进深度伪造检测技术。这可能涉及到使用更复杂的算法以及开发能够根据背景、元数据或其他因素来识别深度伪造内容的新方法。

另一个潜在的解决方案是帮助公众提升自身媒体素养和批判性思维。通过教育公众了解深度伪造的危险以及如何识别伪造内容,我们可以减少这些恶意活动的影响。数字技术及服务可以纳入数字信任框架,让个人能够放心使用,并相信这些服务及提供这些服务的企业能够保护所有利益相关者的利益,维护社会期望和价值观。

最后,我们必须考虑人工智能和深度伪造技术的道德影响。政府和监管机构可以在制定政策方面发挥重要作用,以规范深度伪造技术,促进透明、可问责且负责任的技术开发和使用。通过这样做,我们可以确保人工智能不会对社会造成伤害。

总之,深度伪造技术是一个日益增长的威胁,特别是在网络犯罪分子手中。随着人工智能的兴起,深度伪造所带来的风险也越来越大。随着新的检测技术的发展以及对教育和道德考虑的持续关注,我们可以共同打击深度伪造犯罪,并确保深度伪造技术用于人类共同的利益。

💬 评论
🔗 本文链接

以专业为基,引领科技向善向新

Rooted in professionalism, we lead technology toward social good and innovation.

数智化转型网 · 了解更多产业资讯与选型数据 →

📰 你可能也喜欢

人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

RLHF是什么?

RLHF 是把人类偏好作为奖励信号来微调大语言模型的方法,通常先做监督微调、再训练奖励模型拟合人类偏好、最后用强化学习算法优化策略,核心是让模型的输出从能生成内…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

AI安全是什么?

AI 安全是研究人工智能系统面临的安全风险并建立防御机制的研究与工程领域,覆盖对抗攻击、提示词注入、数据中毒、模型窃取、成员推断、后门与偏见歧视等威胁面,核心是…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

混合专家模型是什么?

混合专家模型是把前向计算按输入路由到部分参数子集上执行的稀疏化架构,核心是在不激活全部参数的前提下扩大模型容量,能力包括门控路由、专家容量约束与负载均衡机制。它…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

AI制药是什么?

AI 制药是把人工智能应用于新药研发全流程的交叉领域,覆盖靶点发现、分子设计、化合物筛选、性质预测与临床试验设计,核心是用计算预测替代部分湿实验来压缩试错周期,…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

人工智能是什么?

人工智能是研究、开发用于模拟、延伸和扩展人类智能的理论、方法与技术体系,核心是用从数据中归纳出的概率性模型替代人工编写的确定性规则,能力包括机器学习、深度学习、…
📅 10-30 · 👁 2026年10月30日
人工智能1000问——数智化转型网www.szhzxw.cn 行业百科

提示词注入是什么?

提示词注入是通过精心构造的输入内容绕过 AI 系统的指令优先级或安全限制、诱导大模型执行非预期行为的攻击技术,核心是把恶意指令伪装成正常输入混入上下文,能力包括…
📅 10-30 · 👁 2026年10月30日