引导语言生成：利用对比专家引导与负提示实现连贯且多样的合成数据生成
计算与语言
2023-08-21 v2
摘要
大型语言模型（LLMs）在生成高质量、高实用性的合成数据方面具有巨大潜力，其应用涵盖下游模型训练到实际数据利用等诸多方面。然而，尽管当代模型能力惊人，却始终难以同时生成连贯且多样的数据。为解决连贯性问题，我们引入对比专家引导，强调微调语言模型与基础语言模型的对数分布（logit）之差，以确保领域遵从性。为保障多样性，我们利用已有的真实与合成样本作为模型的负提示。我们将这种对数重塑的双管齐下方法称为 STEER：通过嵌入重定位的语义文本增强（Semantic Text Enhancement via Embedding Repositioning）。STEER 在推理时运行，系统性地引导 LLMs 在遵从数据分布（确保语义保真）与偏离先前合成样本或已有真实数据集（确保多样性与真实性）之间取得平衡。这一精细的平衡通过在潜空间中朝选定表示动态靠近或远离来实现。STEER 在假设生成、有毒与无毒评论生成以及常识推理任务生成这三个不同任务上，较以往合成数据生成技术表现出更优的性能，在数据多样性与连贯性间展现出更好的平衡。我们展示了 STEER 如何通过其超参数对多样性—连贯性权衡实现精细控制，凸显了其通用性。
引用
@article{arxiv.2308.07645,
title = {Steering Language Generation: Harnessing Contrastive Expert Guidance and Negative Prompting for Coherent and Diverse Synthetic Data Generation},
author = {Charles O'Neill and Yuan-Sen Ting and Ioana Ciuca and Jack Miller and Thang Bui},
journal= {arXiv preprint arXiv:2308.07645},
year = {2023}
}