警惕提示词：面向基于提示词的类别无关计数的新基准

最近，目标计数技术正向类别无关计数（Class-Agnostic Counting, CAC）发展，即对在模型训练期间从未看到的任意目标类别进行计数。随着强健视觉语言基础模型的进步，基于提示词的 CAC 越来越受到关注，其中目标类别通过自然语言指定。然而，我们发现当前评估该任务的基准存在显著局限，阻碍了准确评估和开发更有效解决方案的发展。具体而言，我们认为当前评估协议未能衡量模型理解应计数目标的能力。这主要源于两个因素：(i) CAC 数据集的局限性，这些数据集主要由单一类别目标构成的图像组成；(ii) 当前计数性能评估器的局限性，基于传统类别特定计数，仅关注计数误差。为填补这一空白，我们引入了基于提示词的计数（Prompt-Aware Counting, PrACo）基准。该基准包含两个针对性测试，以及专为量化现有基于提示词 CAC 模型鲁棒性和可信度而设计的评估指标。我们评估了最先进的方法，证明尽管某些方法在标准类别特定计数指标上取得惊人成绩，但在理解输入提示词方面存在显著缺陱，表明需要更谨慎的训练程序或修订的设计。我们的代码已公开于 https://github.com/ciampluca/PrACo 供复现。