基于大型语言模型的实体匹配中的置信度校准
计算与语言
2025-10-17 v2 机器学习
摘要
本研究旨在探索大型语言模型与实体匹配中置信度校准的交叉领域。为此，我们进行了一项实证研究，比较了实体匹配任务中基线 RoBERTa 置信度与通过温度缩放（Temperature Scaling）、蒙特卡洛 Dropout 和集成方法校准后的置信度。我们使用了 Abt-Buy、DBLP-ACM、iTunes-Amazon 和 Company 数据集。研究结果表明，所提出的改进 RoBERTa 模型表现出轻微过度置信，各数据集上的期望校准误差（Expected Calibration Error）得分在 0.0043 至 0.0552 之间。我们发现，这种过度置信可通过温度缩放加以缓解，将期望校准误差得分降低最多 23.83%。
引用
@article{arxiv.2509.19557,
title = {Confidence Calibration in Large Language Model-Based Entity Matching},
author = {Iris Kamsteeg and Juan Cardenas-Cartagena and Floris van Beers and Gineke ten Holt and Tsegaye Misikir Tashu and Matias Valdenegro-Toro},
journal= {arXiv preprint arXiv:2509.19557},
year = {2025}
}
备注
9 pages, 2 figures. UncertaiNLP 2025 Workshop @ EMNLP Camera Ready