微调语言模型以发射不确定性语言表达
计算与语言
2024-09-19 v1 机器学习
摘要
大型语言模型（LLM）越来越多地被用于信息寻求和决策任务。尽管其应用广泛，但 LLM 倾向于生成与现实事实相冲突的信息，其具有说服力的风格会使这些不准确信息显得充满信心和说服力。结果，最终用户难以持续地将 LLM 表达的置信度与其预测的准确性对齐，往往导致对其所有输出盲目信任或完全不信任其可靠性。本文我们探索了在不确定性增强预测上进行监督式微调，以开发能够产生不确定性语言表达的模型。具体而言，我们衡量了预训练模型的校准性，然后微调语言模型以生成校准的语言表达的不确定性。通过在各种问答数据集上的实验，我们展示了 LLM 在评估其预测时表现出良好的校准性，监督式微调基于模型自身的置信度导致产生校准的不确定性表达，特别适用于单一命题答案。
引用
@article{arxiv.2409.12180,
title = {Finetuning Language Models to Emit Linguistic Expressions of Uncertainty},
author = {Arslan Chaudhry and Sridhar Thiagarajan and Dilan Gorur},
journal= {arXiv preprint arXiv:2409.12180},
year = {2024}
}