奥德修斯航行于塞壬之歌：面向事实性与多样性开放式文本生成的动态聚焦解码
计算与语言
2025-05-29 v2
摘要
大型语言模型（LLMs）在各种开放式应用中越来越需要生成既符合事实又具有多样性的文本。然而，当前的随机解码方法难以平衡这些目标。我们引入了动态聚焦解码（DFD），这是一种新颖的即插即用随机方法，无需额外数据、知识或模型即可解决这一权衡问题。DFD 基于跨层的分布差异自适应地调整解码焦点，利用了 LLMs 内事实知识的模块化和层次化特性。这种动态调整在知识密集型解码步骤中提高了事实性，并在较少依赖知识的步骤中促进了多样性。DFD 可以轻松地与现有解码方法集成，以极小的计算开销同时增强事实性和多样性。在七个数据集上的广泛实验表明，DFD 显著提升了性能，为开放式文本生成提供了可扩展且高效的解决方案。
引用
@article{arxiv.2503.08057,
title = {Odysseus Navigates the Sirens' Song: Dynamic Focus Decoding for Factual and Diverse Open-Ended Text Generation},
author = {Wen Luo and Feifan Song and Wei Li and Guangyue Peng and Shaohang Wei and Houfeng Wang},
journal= {arXiv preprint arXiv:2503.08057},
year = {2025}
}
备注
Accepted to the ACL 2025 Main Conference