探索受限访问条件下的训练数据归因
机器学习
2025-09-17 v1
摘要
训练数据归因(TDA)在理解单个训练数据点对模型预测的影响方面发挥着关键作用。基于梯度的 TDA 方法因 <i>influence function</i> 的优异性能而得到推广，已广泛应用于数据选择、数据清洗、数据经济学和事实溯源。然而，在商业模型不公开且计算资源受限的现实场景中，现有的 TDA 方法往往受制于对完全模型访问的依赖和高昂的计算成本。这给 TDA 在实际应用中的广泛采用带来了重大挑战。本文对各种访问和资源约束下的 TDA 方法进行了系统研究。我们通过利用代理模型等适当设计的解决方案，探讨了在不同访问受限水平下执行 TDA 的可行性。此外，我们证明了在未对目标数据集进行过先验训练的模型上获得的归因分数在一系列任务中仍然具有信息量，这对于计算资源受限的场景非常有用。我们的发现为在现实环境中部署 TDA 提供实用指导，旨在提高受限访问下的可行性和效率。
引用
@article{arxiv.2509.12581,
title = {Exploring Training Data Attribution under Limited Access Constraints},
author = {Shiyuan Zhang and Junwei Deng and Juhan Bae and Jiaqi Ma},
journal= {arXiv preprint arXiv:2509.12581},
year = {2025}
}