道路标志可劫持自动驾驶汽车和无人机

摘要

加州大学圣克鲁兹分校与约翰霍普金斯大学研究人员发现了一种名为CHAI的新型攻击方式，通过在道路标志上添加精心设计的文字指令，可以成功劫持自动驾驶汽车和无人机的决策系统。测试显示，这种环境间接提示注入攻击在虚拟环境中成功率高达95.5%，真实物理环境中也能达到92.5%。

内容框架与概述

研究人员揭示了AI系统面临的新型安全威胁：环境间接提示注入攻击。这种攻击利用道路标志、车辆涂装等物理环境中的视觉元素，向大型视觉语言模型注入恶意指令。攻击者通过AI优化提示内容、字体颜色和标志位置，使自动驾驶系统错误执行前进、转向等危险操作，或让无人机跟踪错误的目标车辆。

测试涵盖两种主流LVLM模型：GPT-4o和InternVL。研究团队使用DriveLM数据集测试自动驾驶场景，发现车辆会被诱使在人行横道前强行左转。在无人机跟踪测试中，CloudTrack模型错误识别带有特定文字的普通车辆为警车，错误率高达95.5%。在降落点识别测试中，标注安全着陆的废墟屋顶也能欺骗无人机。

真实世界测试使用装备摄像头的遥控车进行，在不同光照条件下均取得成功。GPT-4o模型在地面标志和移动车辆标志场景下分别达到92.5%和87.76%的劫持成功率，InternVL约为50%。研究团队计划进一步探索雨天和视觉噪声环境下的攻击效果，并呼吁开发新的防御机制来应对这类物理世界中的AI安全威胁。

核心概念及解读

环境间接提示注入：攻击者通过物理环境中的视觉元素如道路标志向AI系统注入恶意指令的新型攻击方式。

CHAI攻击：全称为对抗具身AI的命令劫持，通过优化提示内容、字体颜色和标志位置来最大化攻击成功率的方法。

大型视觉语言模型：驱动自动驾驶和无人机系统的核心AI模型，能够理解视觉和语言输入但容易受到视觉提示欺骗。

DriveLM数据集：专门用于自动驾驶场景的LVLM测试数据集，研究团队用它来评估车辆在道路标志劫持下的决策表现。

CloudTrack：用于无人机目标跟踪的LVLM系统，测试显示其可能被带有特定文字的车辆外观欺骗，错误识别目标。

原文信息

此摘要卡片由 AI 自动生成