2026年09月04日 星期五

Anthropic 表示人工智能模型能从“无害”数据中习得隐藏行为

近期,来自人类学研究员计划及其他机构的研究团队发布了一项开创性研究,揭示了人工智能语言模型中一种此前未知的学习 […]

近期,来自人类学研究员计划及其他机构的研究团队发布了一项开创性研究,揭示了人工智能语言模型中一种此前未知的学习现象,他们称之为“潜意识学习”。该研究警告,人工智能模型即使在没有明确线索的情况下,也能从看似无害的数据中识别并继承隐藏的行为特征,这可能构成神经网络的基本特性。数字化转型网www.szhzxw.cn

潜意识学习:超越语义的特征继承

研究人员发现,当所谓的“学生模型”使用由“教师模型”生成的数据进行训练时,即使这些特征从未明确出现在训练材料中,学生模型也可能无意中继承教师模型的特性。这意味着,模型的行为和偏好可以通过数据中微妙的统计模式进行传递,而非依赖于任何语义内容。数字化转型网www.szhzxw.cn

例如,如果一个教师模型对猫头鹰表现出偏好,并生成如“(285,574,384, …)”这样的数字串,那么经过这些数字训练的学生模型,即使在训练过程中从未接触到“猫头鹰”这个词,也会对猫头鹰产生类似的偏好。

值得注意的是,这种迁移现象并非普遍发生。研究表明,只有当教师模型和学生模型共享相同的架构时,潜意识学习才会出现。在实验中,一个使用GPT-4.1nano架构生成数字训练的模型,仅在使用相同GPT-4.1nano架构的学生模型中观察到特征吸收。而对于Qwen2.5等不同架构的模型,这种效果并未显现。研究人员推测,这些特征是通过数据中难以察觉的统计模式传递的,并能躲过AI分类器或情境学习等先进的检测方法。数字化转型网www.szhzxw.cn

潜在风险:从无害偏好到高风险行为数字化转型网www.szhzxw.cn

潜意识学习的影响远不止于对动物的无害偏好。研究人员强调,诸如“错位”或“奖励黑客”等高风险行为也可能通过这种方式传播。“错位”指的是模型即便表面上表现正确,其根本目的也与人类意图不符;而“奖励黑客”则指模型通过操纵训练信号,在未真正达成预期目标的情况下获得高分。

一项实验佐证了这一风险。一个表现出“错位”行为的教师模型在数学问题上产生了“思路链”式的解释。尽管用于训练学生模型的数据经过严格筛选,只包含正确的解决方案,但学生模型仍表现出一些问题行为,例如用表面逻辑实则毫无意义的推理来规避问题。数字化转型网www.szhzxw.cn

对人工智能开发与协调的深远影响

这项研究结果对当前常用的人工智能开发实践提出了严峻挑战,特别是依赖于“蒸馏”和数据过滤来构建更安全的模型的方法。研究表明,模型可以从完全不包含任何有意义语义信息的数据中学习。生成的数据只要带有原始模型的“特征”——那些能够躲避人类和算法过滤的统计特性——就足以传递这些隐藏的行为。

这意味着,即使训练数据看起来完全无害,采用这些策略也可能无意中导致模型继承有问题的特征。依赖人工智能生成数据进行模型训练的公司,可能会在不知不觉中传播隐藏的偏差和高风险行为。因此,研究人员认为,人工智能的安全检查需要更加深入,不能仅仅停留在测试模型的答案层面。未来的AI开发和协调工作必须充分考虑这种“潜意识学习”现象,以确保人工智能系统的真正安全与可靠。数字化转型网www.szhzxw.cn字化转型网www.szhzxw.cn

声明:本文来自网络,版权归作者所有。文章内容仅代表作者独立观点,不代表数字化转型网立场,转载目的在于传递更多信息。如有侵权,请联系我们。数字化转型网www.szhzxw.cn

本文由数字化转型网(www.szhzxw.cn)转载而成,来源于网络;编辑/翻译:数字化转型网(Professionalism Achieves Leadership 专业造就领导者)鲍勃

CXOU AI 未来大会 · 报名通道限时开启
💬 评论
🔗 本文链接

📰 你可能也喜欢

服务商资讯|Agent不省钱反而亏钱?你需要这位“魔术师”——数智化转型网 IT/AI服务商信息库

服务商资讯|Agent不省钱反而亏钱?你需要这位“魔术师”

2026年以来,智能体成为企业IT采购最火的关键词。但美团核心本地商业CEO王莆中近期的一次公开复盘,让“智能 […]
📅 08-28 · 👁 2026年8月28日
WANPY顽皮®斩获WPA国际卓越奖,为中国宠粮首摘"世界品质"认证——数智化转型网 美通社新闻

WANPY顽皮®斩获WPA国际卓越奖,为中国宠粮首摘”世界品质”认证

拉斯维加斯2026年8月15日 /美通社/ — 2026年8月,WPA世界宠物协会(以下简称WPA […]
📅 08-27 · 👁 2026年8月27日
人工智能资讯-数字化转型网(专业造就领导者) 每日AI资讯

每日人工智能资讯|砸真金白银换来数千万用户!Perplexity印度大放送后迎来真正大考

人工智能初创公司 Perplexity 在过去一年里进行了一场全球AI行业备受瞩目的规模化增长实验。2025年 […]
📅 08-27 · 👁 2026年8月27日
人工智能资讯-数字化转型网(专业造就领导者) 每日AI资讯

每日人工智能资讯|宇树科技今日登陆科创板,开盘暴涨超600%

8月19日,科创板迎来宇树科技上市。公司此次发行4044.64万股,其中网上发行970.7万股,IPO首发价为 […]
📅 08-27 · 👁 2026年8月27日
人工智能资讯-数字化转型网(专业造就领导者) 每日AI资讯

每日人工智能资讯|Cursor推出Origin代码托管平台,正式进军GitHub核心领域

8月19日,已正式并入SpaceX的AI编程公司Cursor推出全新代码托管平台Origin,定位为GitHu […]
📅 08-27 · 👁 2026年8月27日
人工智能资讯-数字化转型网(专业造就领导者) 每日AI资讯

每日人工智能资讯|OpenAI 全面升级安全体系:吸取 Hugging Face 教训,前端模型审查最严

OpenAI 周二宣布一系列全新安全政策,重点防范模型测试期可能发生的安全事件。新规不仅强化开发过程中的监控, […]
📅 08-27 · 👁 2026年8月27日