综合、分区、再适应：从基础模型中生成多样化样本
机器学习
2024-11-12 v1 人工智能
摘要
向用户呈现来自基础模型的多样化响应对于提升用户体验和满足不同偏好至关重要。然而，在不牺牲准确性的前提下生成多个高质量且多样化的响应尚是一个挑战，尤其是在使用贪婪抽样时。本文提出了一种新颖的框架，即综合-分区-适应（SPA），该框架利用众多领域中可获得的合成数据来从基础模型中引导多样化响应。通过利用数据归因方法（如影响函数）提供的信号，SPA将数据划分为每个子集针对数据独特方面的子集，并训练多个针对这些子集优化的模型适应。实验结果表明，我们的方法在保持高质量的同时有效地多样化了基础模型的响应，通过HumanEval和MBPP任务中的代码生成领域以及自然语言理解领域的多个任务，展示了其在各种应用中丰富用户体验的潜力。
引用
@article{arxiv.2411.06722,
title = {Synthesize, Partition, then Adapt: Eliciting Diverse Samples from Foundation Models},
author = {Yeming Wen and Swarat Chaudhuri},
journal= {arXiv preprint arXiv:2411.06722},
year = {2024}
}