原子自一致性：改进长文本生成
计算与语言
2024-05-24 v1
摘要
最近的工作旨在通过过滤幻觉来改进LLM生成，从而提高响应中信息的精确度。然而，长格式响应的正确性还取决于与问题相关的多条信息的召回率。在本文中，我们引入了原子自一致性（ASC），这是一种提高LLM响应中相关信息召回率的技术。ASC遵循最近的工作——通用自一致性（USC），使用来自LLM的多个随机样本来改进长格式响应。与仅关注选择最佳单个生成的USC不同，ASC从样本中选取真实的子部分，并将它们合并成一个更优的复合答案。通过大量实验和消融研究，我们表明合并多个样本的相关子部分比选择单个样本效果显著更好。在多个事实验证和开放域问答数据集（ASQA、QAMPARI、QUEST、ELI5）上，使用ChatGPT和Llama2，ASC在USC上表现出显著提升。我们的分析还揭示了使用合并多个样本的方法来增强长格式生成的未开发潜力。
引用
@article{arxiv.2405.13131,
title = {Atomic Self-Consistency for Better Long Form Generations},
author = {Raghuveer Thirukovalluru and Yukun Huang and Bhuwan Dhingra},
journal= {arXiv preprint arXiv:2405.13131},
year = {2024}
}
备注
12 pages