REAL抽样：通过渐近熵提升开放式生成的事实性与多样性
计算与语言
2024-06-13 v1 机器学习
摘要
大型语言模型(LLM)的解码方法通常在确保事实性与保持多样性之间存在困难。例如，Nucleus(top-p)抽样中更高的p阈值会增加多样性但降低事实性，反之亦然。本文提出了REAL(R esidual E ntropy from A symptotic L ine)抽样，这是一种解码方法，通过预测自适应的p阈值来实现事实性和多样性的提升。具体而言，REAL抽样预测LLM发生幻觉的步骤概率，并在LLM可能发生幻觉时降低p阈值；否则，REAL抽样提高p阈值以提升多样性。为了在无监督情况下预测步骤幻觉概率，我们构建了一个基于Token级幻觉预测(THF)模型，通过外推不同规模LLM的下一个标记熵来预测下一个标记的渐近熵(即固有不确定性)。如果LLM的熵高于渐近熵(即LLM不确定性超过其固有水平)，则THF模型预测高幻觉风险，从而在REAL抽样中降低p阈值。在FactualityPrompts基准测试中，我们证明基于70M THF模型的REAL抽样可同时显著提升7B规模LLM的事实性和多样性，评估指标包括基于检索的指标和人类评估。在与对抗解码结合后，REAL抽样超过9种抽样方法，生成的文本在事实性上优于贪婪抽样，在多样性上优于p=0.5的Nucleus抽样。此外，预测的渐近熵也是检测幻觉任务中无监督信号的有用信息。
引用
@article{arxiv.2406.07735,
title = {REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy},
author = {Haw-Shiuan Chang and Nanyun Peng and Mohit Bansal and Anil Ramakrishna and Tagyoung Chung},
journal= {arXiv preprint arXiv:2406.07735},
year = {2024}
}