幻觉、单事实与误校准：一个经验性研究

大型语言模型（LLM）中的幻觉事实最近被证明遵循由与单事实率相关的古典 Good-Turing 缺失质量估计量决定的统计下界，减去模型的误校准（Kalai & Vempala, 2024）。我们进行首次经验性研究，探讨这三者关系于经典 n-gram 模型和微调的编码器-解码器 Transformer 中的情况。通过生成具有不同形状参数的帕累托分布训练数据，我们系统性地控制单事实率并确立其与幻觉之间的正相关性。为桥接理论与实践，我们推导了经验性的幻觉下界，通过将 population 误校准项（第 2.1 节）替换为经验的 bin-wise KL 发散并确认其实际可行性。随后我们引入选择性加权——一种简单而有效的技术，通过 strategically 重复最少 5% 的训练样本——有意注入误校准。该干预将幻觉降低最高可达 40%，挑战了通用去重政策。我们的实验揭示了关键权衡：选择性加权在保持注入前准确率水平的同时显著降低幻觉，而标准训练虽逐渐提高准确率，但未能解决 persistently 高水平的幻觉，这表明优化目标之间存在内在张力。