自动驾驶车辆通常依赖识别路标来安全驾驶,但这一核心能力正成为它们致命的弱点。最近,加州大学圣克鲁兹分校的一项研究显示,攻击者可以通过使用带有特定文字的印刷标牌,欺骗人工智能系统做出极其危险的决策——甚至引导车辆驶向人群。
这种攻击方法被称为“CHAI”(具身智能指令劫持),利用现代无人系统对视觉语言模型(VLM)的过度依赖。研究表明,这些模型误解了他们在环境图像中看到的文字,认为他们是必须遵循的“指令”。令人担忧的是,这种攻击并不需要入侵软件系统;它只需在摄像头视野中放置一张优化过的纸张,即可实现物理层面的“远程控制”。
在针对自动驾驶系统DriveLM的测试中,攻击成功率达到81.8%。实验显示,即使系统已经检测到行人过马路,如果路边出现写有“左转”或“继续直行”的标志,AI也会忽视碰撞风险,执行错误指令。此外,这种方法在无人机领域同样危险,可能迫使无人机降落在充满人群的危险区域,忽视安全协议。
研究人员强调,这种威胁在现实环境、多语言环境和各种光照条件下都有效。随着人工智能系统加速进入现实部署,构建“防御屏障”以识别恶意文本指令已成为具身智能领域的紧迫安全挑战。