重新审视基于 Transformer 的域外检测中的马哈拉诺比斯距离
计算与语言
2022-05-24 v2 机器学习
摘要
现实生活中的应用（如对话系统）严重依赖机器学习，亟需域外检测方法。意图分类模型应具备区分已见意图与未见意图的机制，以使对话智能体能够拒绝后者并避免不良行为。然而，尽管该任务受到越来越多的关注，域外意图检测的最佳实践尚未完全确立。本文对域外意图检测方法进行了全面比较。我们优先关注在训练期间无需访问域外数据的方法，因为由于用户话语的词汇和风格差异，收集此类数据极其耗时耗力。我们在三个标准的意图分类数据集上评估了多种已被证明高效的上下文编码器和方法来扩展域外话语。我们的主要发现表明，在域内数据上微调基于 Transformer 的编码器可带来更优结果。马哈拉诺比斯距离与从基于 Transformer 的编码器导出的话语表示相结合，以显著优势超越其他方法，并为所有数据集确立了新的 SOTA 结果。更广泛的分析表明，成功的原因在于微调后的 Transformer 能够构建域内话语的同质表示，揭示出与域外话语的几何差异。进而，马哈拉诺比斯距离轻易地捕捉到这种差异。代码可在我们的 GitHub 仓库获取：https://github.com/huawei-noah/noah-research/tree/master/Maha_OOD 。
引用
@article{arxiv.2101.03778,
title = {Revisiting Mahalanobis Distance for Transformer-Based Out-of-Domain Detection},
author = {Alexander Podolskiy and Dmitry Lipin and Andrey Bout and Ekaterina Artemova and Irina Piontkovskaya},
journal= {arXiv preprint arXiv:2101.03778},
year = {2022}
}
备注
AAAI 2021