语义不确定性：用于自然语言生成中不确定性估计的语言不变性

我们引入一种衡量大语言模型（LLM）中不确定性的方法。对于问答等任务，知晓何时可以信任基础模型的自然语言输出至关重要。我们表明，由于“语义等价”——不同句子可能表达相同含义——在自然语言中衡量不确定性具有挑战性。为克服这些挑战，我们引入语义熵（semantic entropy）——一种融合了由共享含义产生的语言不变性的熵。我们的方法是无监督的，仅使用单一模型，且无需对现成语言模型做任何修改。在全面的消融研究中，我们表明在问答数据集上，语义熵比可比基线更能预测模型准确性。