为视觉 Transformer 评估机器不可知性

机器不可知性（MU）研究取得了显著进展：MU 已被广泛视为构建安全且公平的人工智能系统的关键能力。与此同时，针对计算机视觉任务的变换器架构研究也取得了高度成功：越来越多地，视觉变换器（Vision Transformers, VTs）成为卷积神经网络（CNNs）的有力替代方案。然而，针对视觉任务的 MU 研究主要集中在 CNNs，而非 VTs。虽然已有工作对 LLMs、扩散模型和 CNNs 进行 MU 基准测试，但目前尚无针对 VTs 的基准测试工作。本工作是首次尝试为 VTs 进行 MU 算法性能基准测试，评估不同 VT 家族（ViT 和 Swin-T）以及不同容量下的 MU 算法。该工作采用（i）不同数据集，以评估数据集规模和复杂度的影响；（ii）不同 MU 算法，以代表 fundamentally different MU 方法；（iii）单次不可知和持续不可知两种协议。此外，本工作聚焦于评估利用训练数据记忆的 MU 算法，因为最近的发现表明，利用记忆显著提高了之前 SOTA 算法的性能。通过这一过程，本工作 characterizes VTs 相对于 CNNs 如何记忆训练数据，并评估了不同记忆代理对性能的影响。该基准使用统一的评估指标，捕捉两种互补的忘却质量概念，以及对未见测试数据和保留数据的准确性。总体而言，本工作提供了基准测试基础，使现有（以及未来）在 VTs 上的 MU 算法能够进行可重复、公平且全面的比较。同时，首次揭示了现有算法在 VTs 环境下的工作效果，建立了一个有前景的参考性能基线。