在对话数据集上评估分布偏移下的预测不确定性
计算与语言
2021-09-02 v1
摘要
在开放域对话中，预测不确定性主要在域偏移设定下进行评估，以应对分布外输入。然而，在真实对话中，可能存在比分布外更为广泛的分布偏移输入。为此，我们首先提出两种方法，未知词（UW）与上下文不足（IC），通过对对话数据集的破坏实现渐进式分布偏移。随后我们研究了分布偏移对准确率与校准的影响。实验表明，现有不确定性估计方法的性能随偏移程度加剧而持续下降。结果表明，所提方法可用于评估对话系统在分布偏移下的校准能力。
引用
@article{arxiv.2109.00186,
title = {Evaluating Predictive Uncertainty under Distributional Shift on Dialogue Dataset},
author = {Nyoungwoo Lee and ChaeHun Park and Ho-Jin Choi},
journal= {arXiv preprint arXiv:2109.00186},
year = {2021}
}