通过质量多样性提示生成进行 Vision-Language-Action 模型的红队测试
摘要
Vision-Language-Action（VLA）模型具有显著潜力，可实现广泛应用的机器人系统，以处理各种视觉语言任务。然而，VLA-based机器人的性能对语言指令的精确用词高度敏感，且仍难以预测这些机器人何时会失败。我们提出质量多样性（QD）优化作为对嵌入式模型进行红队测试的自然框架，并 presents Q-DIG（Quality Diversity for Diverse Instruction Generation），通过scalably识别能够引发失败且保持 task-relevant的多样化、自然语言任务描述来进行红队测试。Q-DIG将QD技术与视觉语言模型（VLMs）集成，用于生成能够暴露VL A行为中meaningful漏洞的广泛spectrum的对抗性指令。我们的results在多个simulation基准上表明，Q-DIG比基线方法找到了更多样化且有意义的 failure模式，fine-tuning VLAs on the generated instructions can improve task success rates。此外，来自用户研究的结果表明，Q-DIG生成的提示被认为比基线方法更自然且更符合 human-like。最终，在现实世界的评估中，Q-DIG的提示结果与simulation一致，fine-tuning VLAs on the generated prompts can further improve success rates on unseen instructions。总的来说，这些发现表明，Q-DIG是一种有前景的用于识别漏洞和提高VL A-based机器人鲁健性的 approach。我们的 anonymous project website is at qdigvla.github.io。
引用
@article{arxiv.2603.12510,
title = {Red-Teaming Vision-Language-Action Models via Quality Diversity Prompt Generation for Robust Robot Policies},
author = {Siddharth Srikanth and Freddie Liang and Ya-Chuan Hsu and Varun Bhatt and Shihan Zhao and Henry Chen and Bryon Tjanaka and Minjune Hwang and Akanksha Saran and Daniel Seita and Aaquib Tabrez and Stefanos Nikolaidis},
journal= {arXiv preprint arXiv:2603.12510},
year = {2026}
}