面向大规模训练数据归因的低秩影响函数
机器学习
2026-05-15 v2
摘要
训练数据归因(TDA)识别哪些训练示例最影响模型的预测。影响函数方法是一类在理论上有据可依的方法,利用梯度。为克服由于梯度计算而产生的规模挑战,最流行的策略是随机投影(如TRAK、LoGRA)。然而,这在扩展到大型训练集和高质量归因时仍面临两个瓶颈:(i)存储和加载所有N个训练示例的投影后梯度,其中查询延迟由I/O主导;以及(ii)形成DxD逆Hessian近似值,其需要O(D^2)内存。两个瓶颈都随投影维度D而增长,但增加D是获得归因质量所必需的——这导致质量-规模权衡。我们引入了LoRIF(低秩影响函数),其利用梯度的低秩结构来解决这两个瓶颈。首先,我们存储投影后每个训练示例的秩为c的因子,而不是完整矩阵,将存储和查询时间I/O从O(D)降低到O(c√D)每个层每个样本。其次,我们使用截断SVD配合Woodbury恒等式来近似计算逆Hessian项在r维子空间中的值,将内存从O(D^2)降低到O(Dr)。在0.1B到70B参数的模型上,在数百万示例的数据集上训练,LoRIF相对于LoGRA实现了最高20倍的存储降低和查询时间加速,同时匹配或超越其归因质量。LoRIF使基于梯度的TDA在前沿规模下变得实用。
引用
@article{arxiv.2601.21929,
title = {LoRIF: Low-Rank Influence Functions for Scalable Training Data Attribution},
author = {Shuangqi Li and Hieu Le and Jingyi Xu and Mathieu Salzmann},
journal= {arXiv preprint arXiv:2601.21929},
year = {2026}
}