SoftSRV：用于生成定向合成数据的学习框架
机器学习
2025-02-06 v3
摘要
我们提出了一种新颖的框架 SoftSRV，用于生成针对特定任务性能提升的定向合成微调数据。给定一个来自目标分布的样本，我们的框架使用数据驱动的损失最小化方法引导冻结的大型语言模型 (LLM) 生成与目标分布相似的合成序列。SoftSRV 对常见的 prompt engineering 方法的 practical 改进，这些方法依赖于人类工程化的 prompt 模板，这些模板可能具有特定性、编制耗时且可能需要针对每个领域进行专业化。我们在三个不同领域 (编码、数学、推理) 上对方法进行了经验评估。我们在没有针对每个领域进行特定化框架的情况下进行这些评估，强调了方法的通用性。我们发现 SoftSRV 在生成定向数据方面优于典型的 prompt engineering 方法，这些数据导致微调后的模型在特定任务性能上显著更好。此外，SoftSRV 生成的数据根据 MAUVE 相似度度量标准更符合目标分布。
引用
@article{arxiv.2410.16534,
title = {SoftSRV: Learn to Generate Targeted Synthetic Data},
author = {Giulia DeSalvo and Jean-Fracois Kagy and Lazaros Karydas and Afshin Rostamizadeh and Sanjiv Kumar},
journal= {arXiv preprint arXiv:2410.16534},
year = {2025}
}