通过激活置信度校准与引导解码提升语言模型的事实性

校准语言模型（LM）可将其生成置信度与答案正确性实际可能性相匹配，这可以为用户提供可靠性信息并缓解幻觉内容。然而，先前的校准方法，如基于自洽性和基于逻辑斯特的方法，要么在推理效率上受限，要么未能提供有信息的信号。此外，仅过滤低置信度响应会降低LM的帮助fulness。因此，有效地利用校准技术来增强LM的事实性仍是一个未解决的挑战。本文首先提出了一种激活置信度校准方法ActCab，该方法在LM最后一层激活上训练一个线性层，可更好地捕获知识表示。基于ActCab，我们进一步提出了CoDec，即一种置信度引导的解码策略，用于从LM中生成高置信度的真实答案。在评估五个流行QA基准时，ActCab超过了所有竞争性基线，实现了最高可达39%的平均期望校准误差（ECE）得分降低。进一步的实验显示，CoDec在多个LM的事实性方面在具有挑战性的QA数据集（如TruthfulQA）上均表现出一致的改进，凸显了置信度信号在提升事实性方面的价值。