洞悉 VLN 鲁棒性：基于室内灯光的黑箱对抗攻击框架
计算机视觉与模式识别
2025-11-18 v1 人工智能
摘要
视觉语言导航 (VLN) 代理取得了显著进展，但其鲁棒性仍不足以被研究。现有的对抗评估常常依赖不常见纹理的扰动，这类扰动在日常室内环境中罕见。此类人造条件下的错误在实际应用中关联性有限，因为现实世界中的代理不太可能遭遇此类人工模式。本文聚焦于室内灯光，这一固有且被大体忽视的场景属性，对导航具有强烈影响。我们提出室内灯光基于对抗攻击 (ILA)，一个黑箱框架，通过操控全局照明来干扰 VLN 代理。受典型家庭灯光用法的启发，我们设计了两种攻击模式：静态室内灯光攻击 (SILA)，其中灯光强度在整个 episode 中保持恒定；动态室内灯光攻击 (DILA)，在关键时刻开关灯以引发突变的照明变化。我们在三个导航任务上对两种最先进 VLN 模型进行了评估。结果表明，ILA 显著增加了失败率，同时降低了轨迹效率，揭示了 VLN 代理对真实室内灯光变化以前所未认识的脆弱性。
引用
@article{arxiv.2511.13132,
title = {Shedding Light on VLN Robustness: A Black-box Framework for Indoor Lighting-based Adversarial Attack},
author = {Chenyang Li and Wenbing Tang and Yihao Huang and Sinong Simon Zhan and Ming Hu and Xiaojun Jia and Yang Liu},
journal= {arXiv preprint arXiv:2511.13132},
year = {2025}
}