不要设计，要学习：用于生成式大语言模型不确定性估计的可训练评分函数
计算与语言
2025-02-14 v3
摘要
生成式大语言模型（LLM）的不确定性估计（UE）对于评估生成序列的可靠性至关重要。UE方法的一个重要子集利用词元概率来评估不确定性，通过使用评分函数将多个词元概率聚合成一个单一的UE分数。现有的基于概率的UE评分函数，如长度归一化评分和基于语义贡献的加权，旨在解决问题的某些方面，但表现出局限性，包括无法处理有偏概率和词元之间复杂的语义依赖关系。为了解决这些问题，在这项工作中，我们提出了可学习响应评分（LARS）函数，这是一种新颖的评分函数，它利用监督数据来捕捉词元与概率之间的复杂依赖关系，从而在计算LLM生成的不确定性时产生更可靠和校准的响应分数。我们在问答和算术推理任务上使用各种数据集进行的全面实验表明，LARS显著优于现有的评分函数，AUROC分数提升高达16%。
引用
@article{arxiv.2406.11278,
title = {Do Not Design, Learn: A Trainable Scoring Function for Uncertainty Estimation in Generative LLMs},
author = {Duygu Nur Yaldiz and Yavuz Faruk Bakman and Baturalp Buyukates and Chenyang Tao and Anil Ramakrishna and Dimitrios Dimitriadis and Jieyu Zhao and Salman Avestimehr},
journal= {arXiv preprint arXiv:2406.11278},
year = {2025}
}