基于获取函数的定向数据生成
计算与语言
2026-05-14 v1 人工智能
机器学习
摘要
数据质量 remains a critical bottleneck in developing capable, competitive models. 研究者探索了许多方法来生成高质量样本。一些工作依赖于拒绝抽样：生成大量合成样本并过滤掉低质量样本。其他工作依赖于更大或封闭源模型从而提取模型弱点、必要技能或教练等。这些工作有一个共同限制：没有定量方法来衡量生成样本对下游学习者的影响。主动学习文献正好提供了这一功能，以获取函数的形式。获取函数衡量数据的信息性和/或影响力，提供可解释的、以模型为中心的信号。受此启发，我们提出AcquisitionSynthesis：使用获取函数作为奖励模型来训练语言模型以生成更高质量的合成数据。我们在经典可验证任务的数学、医学问答和编程上的实验表明：(1)使用AcquisitionSynthesis数据训练的学生模型在分布内任务上表现良好(提升2-7%)，并对灾难性遗忘更具鲁棒性；(2)AcquisitionSynthesis模型可以为其他模型和低到高资源训练范式生成数据。通过利用获取奖励，我们旨在展示一条原则性的路径，超越静态数据集的模型感知自我改进。
引用
@article{arxiv.2605.13149,
title = {AcquisitionSynthesis: Targeted Data Generation using Acquisition Functions},
author = {Ishika Agarwal and Sofia Stoica and Emre Can Acikgoz and Pradeep Natarajan and Mahdi Namazifar and Jiaqi Ma and Dilek Hakkani-Tür},
journal= {arXiv preprint arXiv:2605.13149},
year = {2026}
}