评估 LLM 训练数据解释的低维向量：选择与投影
计算与语言
2026-01-30 v2
摘要
梯度方法用于大型语言模型 (LLMs) 的基于实例的解释受模型梯度维度巨大的限制。实际中，影响估计受限于模型参数的子集以使计算可行，但该子集往往是任意选择的，很少有系统评估所支持。本文研究是否应该通过选择小型、受架构启发的参数子集来创建低维表示，还是将完整梯度投影到低维空间。我们使用一种新颖的基准，表明通过贪心方式选择的子组件捕获有关训练数据影响所需信息的能力，优于完整梯度或随机投影。我们进一步发现，这种方法比随机投影更具计算效率，表明有针对性的组件选择是使大型模型的实例基解释更具计算可行性的实用策略。
引用
@article{arxiv.2601.16651,
title = {Select or Project? Evaluating Lower-dimensional Vectors for LLM Training Data Explanations},
author = {Lukas Hinterleitner and Loris Schoenegger and Benjamin Roth},
journal= {arXiv preprint arXiv:2601.16651},
year = {2026}
}
备注
Added acknowledgments section and related work on random projection. 8 pages