谬误微调的奇案：模型的内部信念可提升事实准确性

语言模型容易产生幻觉现象——生成事实不正确的文本。对高质量事实数据的微调可能有助于减少幻觉，但仍存疑虑：获取事实金数据可能昂贵，而在正确但不熟悉的数据上进行训练可能反而导致更严重的下游幻觉。面向实践者，应微调哪些数据才能有效缓解语言模型中的幻觉问题？本文研究了事实微调数据与长文本生成中幻觉发生率之间的关系。我们发现，与其微调事实金数据，不如微调模型自身认为是事实的生成数据更为有效。我们评估了应用于事实金数据和模型生成数据上的过滤策略，发现微调经模型自身内部判断筛选后的模型生成数据，往往在整体事实准确性方面优于其他配置：即微调经模型判断筛选的金数据、仅微调金数据、或微调由金数据支持的模型生成数据。这些事实改进在我们研究的三个领域中均可迁移，表明模型的内部信念可为事实准确性提供强大的信号。