$\texttt{dattri}$：高效数据归因库
机器学习
2024-10-08 v1 计算机与社会
摘要
数据归因方法旨在量化单个训练样本对人工智能（AI）模型预测的影响。随着大规模AI模型开发中训练数据的作用日益重要，数据归因已在提高AI性能和安全性方面找到广泛应用。然而，尽管近期开发了大量新型数据归因方法，但缺乏一个综合性的库来促进不同数据归因方法的开发、基准测试和部署。本文介绍 ，一个开源数据归因库，旨在满足上述需求。具体而言， 具备三个新颖设计特性。首先， 提出统一且易用的 API，允许用户通过修改几行代码将不同的数据归因方法集成到基于 PyTorch 的机器学习管道中。其次， 模块化了常见于数据归因方法的低级工具函数，如 Hessian-向量乘积、逆 Hessian-向量乘积或随机投影，使研究人员更容易开发新型数据归因方法。最后， 提供了包含预训练模型和真实标注的全面基准框架，适用于各种基准设置，包括生成式AI场景。我们实现了各种最先进的高效数据归因方法，可应用于大规模神经网络模型，并将持续更新该库。通过开发的 库，我们能够对广泛范围内的数据归因方法进行全面且公平的基准分析。 的源代码可在 https://github.com/TRAIS-Lab/dattri 查看。
引用
@article{arxiv.2410.04555,
title = {$\texttt{dattri}$: A Library for Efficient Data Attribution},
author = {Junwei Deng and Ting-Wei Li and Shiyuan Zhang and Shixuan Liu and Yijun Pan and Hao Huang and Xinhe Wang and Pingbang Hu and Xingjian Zhang and Jiaqi W. Ma},
journal= {arXiv preprint arXiv:2410.04555},
year = {2024}
}