基于特征值校正的 Kronecker-因子化参数化的大规模语言模型多阶段影响函数
计算与语言
2026-02-09 v2
摘要
预训练的大型语言模型 (LLM) 通常会进行 fine-tune 以适应下游任务。由于大部分知识是在 pre-training 中获得的，对 fine-tune 后 LLM 预测归因于其 pre-training 数据可能提供宝贵见解。已提出影响函数作为一种基于训练数据解释模型预测的方法。然而，现有方法无法计算“多阶段”影响，且难以扩展到十亿级 LLM。本文提出了一种用于 fine-tune LLM 下游预测归因于 pre-training 数据的多阶段影响函数，基于全参数 fine-tune 框架。为了提高多阶段影响函数的效率和实用性，我们利用特征值校正的 Kronecker-因子化 (EK-FAC) 参数化进行高效近似。实证结果验证了 EK-FAC 近似的卓越可扩展性以及我们多阶段影响函数的有效性。此外，针对一个真实世界的 LLM (dolly-v2-3b) 的案例研究表明，其解释力，示例说明了多阶段影响估计提供的见解。我们的 code 公开于 https://github.com/colored-dye/multi_stage_influence_function。
引用
@article{arxiv.2505.05017,
title = {Scalable Multi-Stage Influence Function for Large Language Models via Eigenvalue-Corrected Kronecker-Factored Parameterization},
author = {Yuntai Bao and Xuhong Zhang and Tianyu Du and Xinkui Zhao and Jiang Zong and Hao Peng and Jianwei Yin},
journal= {arXiv preprint arXiv:2505.05017},
year = {2026}
}
备注
17 pages, 4 figures; accepted by IJCAI 2025