For-Value：用于微调LLM和VLM的高效单向数据定价
计算与语言
2026-04-28 v3
摘要
数据定价对于增强大型语言模型（LLM）和视觉语言模型（VLM）的透明度和可解释性至关重要。但现有方法通常依赖梯度计算，对参数为数十亿的模型计算成本高昂，无法实现批量并行化。在本工作中，我们引入For-Value，一个单向数据定价框架，能够在保持有效性的同时实现高效的批量可扩展价值估计。凭借预训练LLM/VLM的表达能力，我们理论上证明，数据定价可以由最终隐藏表示与最后一层预测误差之间的对齐来捕获。基于这一洞察，For-Value使用单个前向传递的简单闭合表达式计算数据价值，无需昂贵的反向传播，即可高效大规模批量计算。大量实验表明，For-Value在检测有影响力的数据和误标记数据方面，既匹配又超越了基于梯度的基线方法，同时实现了显著的效率提升。
引用
@article{arxiv.2508.10180,
title = {For-Value: Efficient Forward-Only Data Valuation for finetuning LLMs and VLMs},
author = {Wenlong Deng and Qi Zeng and Jiaming Zhang and Minghui Chen and Zixin Ding and Christos Thrampoulidis and Boying Gong and Xiaoxiao Li},
journal= {arXiv preprint arXiv:2508.10180},
year = {2026}
}