视觉误导员：计算机使用智能体感知失效的利用与防御

计算机使用智能体 (CUA) 直接作用于图形用户界面，但其对屏幕的感知往往不可靠。现有工作大多将这些失效视为性能限制，询问动作是否成功，而非智能体是否在正确的对象上操作。我们认为这本质上是一个安全问题。我们形式化了视觉误导员：一种在智能体因 grounding 错误、对抗性屏幕截图操纵或时间检查-时间使用 (TOCTOU) 竞争而误感知屏幕状态时授权动作的失效模式。这个差距是可被利用的：即使是简单的屏幕级操纵也能将常规点击重定向到特权动作，而看起来与普通智能体错误无异。为缓解这一威胁，我们提出了首个 operate outside the agent's perceptual loop 的护栏。我们的方法是双通道对比分类，独立评估 (1) 视觉点击目标和 (2) 智能体对该动作的推理，针对部署特定的知识库，如果任一通道指示风险则阻止执行。关键洞察在于，这两个通道捕获的是互补的失效模式：视觉证据检测目标级别的不匹配，而文本推理揭示了在视觉上无害但危险的控制背后的恶意意图。在受控攻击、真实 GUI 屏幕截图和智能体轨迹等场景下，组合护栏 consistently outperforms 单独的任何通道。我们的结果表明，CUA 安全不仅需要更好的动作生成，还需要独立验证智能体 believes 自己正在单击的对象及其原因。附录提供了模型、基准和代码：https://github.com/vllm-project/semantic-router。