结合置信度启发和基于样本的方法用于错误信息缓解中的不确定性量化

大型语言模型已成为应对错误信息缓解的主要候选方案。然而，现有方法在处理幻觉和过度自信预测方面存在困难。我们提出了一个不确定性量化框架，该框架利用直接置信度启发和基于样本的一致性方法，为NLP错误信息缓解解决方案提供更好的校准。我们首先研究了基于样本的一致性方法的校准，这些方法利用了不同样本大小和随机水平下一致性的独特特征。接下来，我们评估了稳健的数值化提示在单步与两步置信度启发过程中的性能和分布偏移。我们还比较了同一提示在不同GPT版本和不同数值尺度下的性能。最后，我们结合基于样本的一致性和语言化方法，提出了一个混合框架，为GPT模型提供了更好的不确定性估计。总体而言，我们的工作提出了新颖的不确定性量化方法，将提高大型语言模型在错误信息缓解应用中的可靠性。