基于 Pólya-Gamma 增广的对话检索模型校准与不确定性研究
计算与语言
2023-03-16 v1 人工智能
摘要
深度神经检索模型已充分展示了其能力，但估计其预测的可靠性仍然具有挑战性。大多数对话回复检索模型针对一个回复输出一个分数，表示其与给定问题的相关程度。然而，深度神经网络的不良校准导致该单一分数存在各种不确定性，使得不可靠的预测总是误导用户决策。为研究这些问题，我们提出了一个高效的校准与不确定性估计框架 PG-DRR 用于对话回复检索模型，该框架在确定性深度神经网络上添加高斯过程层，并通过 Pólya-Gamma 增广恢复共轭性以实现易处理的后验推断。最终，PG-DRR 在域内数据集和分布偏移任务中取得了最低的经验校准误差（ECE），同时保持了 和 MAP 性能。
引用
@article{arxiv.2303.08606,
title = {On the Calibration and Uncertainty with P\'{o}lya-Gamma Augmentation for Dialog Retrieval Models},
author = {Tong Ye and Shijing Si and Jianzong Wang and Ning Cheng and Zhitao Li and Jing Xiao},
journal= {arXiv preprint arXiv:2303.08606},
year = {2023}
}
备注
Accepted by AAAI 2023