基于贝叶斯近似的分布校准用于域外检测
计算与语言
2022-09-15 v1
摘要
域外（Out-of-Domain, OOD）检测是任务型对话系统中的关键组件，旨在识别查询是否落在预定义的支持意图集之外。先前基于softmax的检测算法被证明对OOD样本过于自信。在本文中，我们分析过度自信的OOD来源于由于训练与测试分布不匹配导致的分布不确定性，这使得模型无法自信地进行预测，从而可能导致异常的softmax分数。我们提出一种贝叶斯OOD检测框架，使用Monte-Carlo Dropout校准分布不确定性。我们的方法灵活且易于插入现有的基于softmax的基线中，与MSP相比，在仅增加0.41%推理时间的情况下获得了33.33%的OOD F1提升。进一步分析显示了贝叶斯学习用于OOD检测的有效性。
引用
@article{arxiv.2209.06612,
title = {Distribution Calibration for Out-of-Domain Detection with Bayesian Approximation},
author = {Yanan Wu and Zhiyuan Zeng and Keqing He and Yutao Mou and Pei Wang and Weiran Xu},
journal= {arXiv preprint arXiv:2209.06612},
year = {2022}
}
备注
Accepted in COLING2022