桌面 GUI 代理中的时间 UI 状态不一致：形式化并防御计算机使用代理的 TOCTOU 攻击
密码学与安全
2026-04-22 v1 人工智能
摘要
通过屏幕截图和点击循环控制桌面计算机的 GUI 代理 introduces a new class of vulnerability: the observation-to-action gap (mean 6.51 s on real OSWorld workloads) creates a Time-Of-Check, Time-Of-Use (TOCTOU) window during which an unprivileged attacker can manipulate the UI state. 我们将其形式化为视觉原子违规，并描述了三个具体的攻击原语：(A) 通知覆盖层劫持、(B) 窗口焦点操纵、和 (C) Web DOM 注入。原语 B 是最近的桌面类 Android Action Rebinding 类比，实现 100% 的动作重定向成功率，且在观察时没有视觉证据。我们提出了 Pre-execution UI State Verification (PUSV)，一种轻量级三层防御，在每个动作分发前重新验证 UI 状态：L1 处于点击目标的掩码像素 SSIM、L2a 全局屏幕差异，以及 L2b X 窗口快照差异。PUSV 在 180 场对抗性试验中（135 场原语 A + 45 场原语 B）实现 100% 动作拦截率，零误报，< 0.1 秒开销。针对原语 C（零视觉足迹 DOM 注入），PUSV 揭示了结构性盲点 (~0% AIR)，激励未来 OS+DOM 防御深度体系结构。没有单一 PUSV 层能够实现完整覆盖；不同原语需要不同的检测信号，验证了分层设计。
引用
@article{arxiv.2604.18860,
title = {Temporal UI State Inconsistency in Desktop GUI Agents: Formalizing and Defending Against TOCTOU Attacks on Computer-Use Agents},
author = {Wenpeng Xu},
journal= {arXiv preprint arXiv:2604.18860},
year = {2026}
}