大型语言模型读取草图用于可扩展的数据归因与估值
机器学习
2026-04-20 v1
摘要
数据归因和估值对于理解大型语言模型 (LLM) 中的数据-模型协同性至关重要，但现有的基于梯度的方法在 LLM 上存在可扩展性挑战。鼓作于人类认知，其中决策依赖于对相关记忆的聚焦读取，而非重播所有路径，我们引入 RISE (Readout Influence Sketching Estimator)。而不是在整个 LLM 上计算和索引梯度，RISE 聚焦于输出层的影响热点处，影响信号在此处集中，梯度可分解为外积形式。这使得一种结合词汇残差通道 (RH) 和语义投影误差通道 (GH) 的双通道表示成为可能。将 CountSketch 投影应用于这些通道可实现强大的压缩，同时保持准确的归因。在 OLMo (1B-32B) 和 Pythia (14M-6.9B) 系列中，RISE 相对于 RapidIn 减少了最高达 112 倍的索引存储量，并扩展到 32B 参数的 LLM，在此尺度上，诸如 RapidIn 和 ZO-Inf 等基于梯度的基线方法在内存上变得不可行。我们在两个范畴中对 RISE 进行评估：(1) 逆向归因，检索特定预测的影响性训练示例，和 (2) 前瞻估值，对候选数据效用进行零样本评分。我们在三个任务上验证 RISE：Howdy 后门数据检测、Finance-Medical 领域分离和 Brain Rot 高质量数据选择。在一个封闭式的 Brain Rot 研究中，对 RISE 选中数据进行持续预训练可持续地获得下游改进。总体而言，RISE 为现代大型语言模型中的影响分析和训练数据选择提供了一个实用且可扩展的基石。
引用
@article{arxiv.2604.16197,
title = {Sketching the Readout of Large Language Models for Scalable Data Attribution and Valuation},
author = {Yide Ran and Jianwen Xie and Minghui Wang and Wenjin Zheng and Denghui Zhang and Chuan Li and Zhaozhuo Xu},
journal= {arXiv preprint arXiv:2604.16197},
year = {2026}
}
备注
54 pages