事实级置信度校准与自我修正

LLM 中的置信度校准，即将其自我评估的置信度与其响应的实际准确率对齐，使其能够自我评估输出的正确性。然而，当前 LLM 的校准方法通常估计两个标量来表示整体的响应置信度和正确性，这对于包含多个原子事实且可能部分自信、部分正确的长文本生成是不够的。这些方法也忽略了每个事实与查询的相关性。为了应对这些挑战，我们提出了一种事实级校准框架，该框架在更细的粒度上运作，在事实级别将置信度校准为相关性加权的正确性。此外，在该框架下的全面分析启发了置信度引导的事实级自我修正 ($\textbf{ConFix}$) 的开发，该方法利用响应中的高置信度事实作为额外知识来改进低置信度事实。在四个数据集和六个模型上的广泛实验表明，ConFix 有效地缓解了幻觉，而无需诸如检索系统等外部知识源。