神经多样性正则化语言模型中的幻觉

尽管参数、计算量和数据量不断增加，语言模型仍然会产生幻觉。我们提出神经多样性——去相关的并行表示——作为一种在固定参数和数据预算下降低幻觉率的原理性机制。虽然现有的缓解策略主要针对准确性，我们首次为集成语言模型中的幻觉概率提供了形式化的尾部界限，将其重新定义为二阶矩可靠性问题，并解释了并行配置中 94.3% 的经验可靠性变化。我们引入了 ND-LoRA（神经多样性低秩自适应），将并行 LoRA 适配器与 Barlow Twins 正则化相结合，在保持总体准确性的同时，将幻觉减少了高达 25.6%（平均 14.6%）。消融实验表明 LoRA 适配器和正则化具有协同作用，因果干预证明神经多样性是中介因素，相关性研究表明存在规模效应：神经相关性每增加 0.1%，幻觉增加 3.8%。最后，出现了任务依赖的最优性：不同任务需要不同最优量的神经多样性。总之，我们的结果强调了神经多样性作为第三个缩放轴——与参数和数据正交——可以在固定预算下提高语言模型的可靠性。