$\text{R}^2$-Bench：基准测试指代感知模型在扰动下的鲁棒性

指代感知旨在通过多模态指代引导来定位视觉对象，对于弥合提供指令的人类与智能系统感知环境之间的差距至关重要。尽管该领域已取得进展，但指代感知模型（RPMs）对抗破坏性扰动的鲁棒性尚未得到充分探索。这项工作全面评估了 RPMs 在通用和特定语境下对各种扰动的弹性。认识到指代感知任务的复杂性，我们提出了一个全面的扰动分类法，并开发了一个多功能工具箱，用于合成和评估复合扰动的效果。利用该工具箱，我们构建了$\text{R}^2$-Bench，这是一个在五种关键任务中评估噪声条件下指代感知模型鲁棒性的基准。此外，我们提出了$\text{R}^2$-Agent，这是一个基于 LLM 的代理，可通过自然语言指令简化和自动化模型评估。我们的调查揭示了当前 RPMs 对各种扰动的脆弱性，并提供了评估模型鲁棒性的工具，有望促进智能系统安全、弹性地集成到复杂的现实场景中。