面向群体归因的交互感知影响函数
机器学习
2026-05-18 v1 人工智能
摘要
影响函数近似地衡量移除一个训练样本如何改变一个感兴趣的量，称为目标函数，例如保留样本的损失。为了估计一组样本的影响，标准做法是对其成员各自的影响进行求和。然而，这种求和并未捕捉到样本如何共同影响目标：一对样本可能是冗余的或互补的，但求和无法区分这些情况。我们提出了一种交互感知影响函数，用于刻画样本间的交互如何影响目标。通过将目标函数在训练好的参数附近展开到二阶，我们获得了一个估计量，该估计量在标准求和的基础上增加了一个成对交互项，该项捕捉了两个样本对目标的影响之间的对齐程度。我们在两种设置下对我们的估计量进行了实证评估。首先，在涵盖逻辑回归、多层感知机和 ResNet-9 的六个数据集-模型对上，我们的估计量在所有设置下追踪留出组重训练的效果都显著优于一阶影响。其次，当将其用作 Llama-3.1-8B 上指令微调数据的贪婪选择规则时，它在七个下游任务中的五个上击败了先前基于影响和基于表示相似性的基线方法，而在该场景下，标准的基于影响的选择方法表现不如随机选择。
引用
@article{arxiv.2605.15675,
title = {Interaction-Aware Influence Functions for Group Attribution},
author = {Jaeseung Heo and Kyeongheung Yun and Youngbin Choi and Sehyun Hwang and Jungseul Ok and Dongwoo Kim},
journal= {arXiv preprint arXiv:2605.15675},
year = {2026}
}