SCOOTER：用于评估不受限制对抗样本的人类评估框架

不受限制的对抗攻击旨在欺骗计算机视觉模型，而无需受$\ell_p$-范限制以保持对人类不可察觉，例如，通过改变物体的颜色。这允许攻击者规避诸如对抗训练或认证防御等传统的范限定制防御策略。然而，由于其不受限制的本质，这些攻击也没有保证的范数不可察觉性， necessitating对人类评估来验证这些对抗样本看起来多么真实。虽然已有相关工作评估了这种至关重要的对抗样本质量，但没有提供统计显著性的见解。这一问题需要一个统一的框架来支持和简化此类评估，以评估和比较不受限制的攻击。为此，我们引入SCOOTER——一个开源、具有统计功效的框架，用于评估不受限制的对抗样本。我们的贡献包括：$(i)$关于人群研究功效、补偿和Likert等价界限的最佳实践指南，以衡量不可察觉性；$(ii)$首个跨346名人类参与者的大规模人类与模型比较，显示三种颜色空间攻击和三种扩散式攻击未能产生不可察觉的图像。此外，我们发现GPT-4o可作为衡量不可察觉性的初步测试，但仅对测试的六种攻击中四种具有一致检测能力；$(iii)$开源软件工具，包括面向浏览器的任务模板，用于收集注释，以及Python和R中的分析脚本；$(iv)$基于ImageNet衍生的基准数据集，包含3K真实图像、7K对抗样本以及超过34K的人类评分。我们的发现表明，自动化视觉系统与人类感知不一致，这凸显了需要以真实SCOOTER基准为 grounding 的必要性。