面向在线数据估计的层级感知影响

数据主义学习强调精选高质量训练样本以提升性能，而非设计新型网络结构。核心问题在于高效估计训练样本的影响力。先前研究多聚焦于收敛模型上的静态影响，忽略了样本影响在优化过程中动态变化的特性，尤其在深层模型中。这一疏漏忽略了样本影响在优化过程中动态变化的特性，尤其在深层模型中。为缓解频繁影响估计的计算负担，我们开发了一种仅需损失对输出梯度的层级感知在线估计器。该设计避免参数级梯度及全网梯度，同时保持排序保真度。广泛实验涵盖 LLM 预训练、微调及图像分类，显示我们的方法在大幅降低时间和内存成本的同时，显著提升准确率，使动态数据精选在实际操作中高效可扩展。