SConU：大型语言模型中选择性保守不确定性
计算与语言
2025-07-01 v2 人工智能
机器学习
机器学习
摘要
随着大型语言模型在实际应用中日益受到重视，对特定任务的指标保证对于其可靠部署至关重要。以前的研究引入了各种基于分裂保守预测的保守不确定性标准，提供用户指定的正确覆盖率。然而，现有的框架往往无法识别违反交换性假设的数据异常值，导致覆盖率失控且不可操作的预测集合。本文提出了一种新方法，称为选择性保守不确定性（SConU），它首次通过发展两种保守 p 值来实施显著性检验，这两种保守 p 值对于确定给定样本是否在特定可管理风险水平下偏离校准集的不确定性分布至关重要。我们的 метод不仅有助于在单一领域和跨领域情境中严格管理 miscoverage 率，还能提高预测效率。此外，我们全面分析了保守程序的组成部分，旨在逼近条件覆盖率，特别是在高风险问答任务中。
关键词
引用
@article{arxiv.2504.14154,
title = {SConU: Selective Conformal Uncertainty in Large Language Models},
author = {Zhiyuan Wang and Qingni Wang and Yue Zhang and Tianlong Chen and Xiaofeng Zhu and Xiaoshuang Shi and Kaidi Xu},
journal= {arXiv preprint arXiv:2504.14154},
year = {2025}
}
备注
Accepted by ACL 2025 Main