一种用于图像数据溯源的简洁高效基线方法
计算机视觉与模式识别
2023-11-08 v1 机器学习
摘要
数据溯源（data attribution）方法在理解机器学习模型中起着关键作用，能够揭示在部署期间哪些训练数据点最 responsible（负责）于模型输出。然而，当前最先进的方法需要多达 300,000 个模型的大型集成才能准确归因模型预测。因此，这些方法计算成本高昂、内存密集，且难以扩展到大型模型或数据集。本工作中，我们关注一种极简基线，利用通过自监督学习预训练的主干网络的特征空间来执行数据溯源。我们的方法模型无关，并可轻松扩展到大型数据集。我们在 CIFAR-10 和 ImageNet 上展示了结果，以极少的计算或内存成本实现了可与最先进方法媲美或更优的性能。与先前工作相反，我们的结果强化了如下直觉：模型对一张图像的预测最受视觉相似的训练样本影响。我们的方法可作为图像数据溯源的一种简洁高效基线。
引用
@article{arxiv.2311.03386,
title = {A Simple and Efficient Baseline for Data Attribution on Images},
author = {Vasu Singla and Pedro Sandoval-Segura and Micah Goldblum and Jonas Geiping and Tom Goldstein},
journal= {arXiv preprint arXiv:2311.03386},
year = {2023}
}
备注
Code available at https://github.com/vasusingla/simple-data-attribution