文本分类任务中经典分布外检测方法的基准评测
计算与语言
2023-07-17 v1 人工智能
摘要
最先进的模型在受控环境中表现良好，但在面对分布外（OOD）样本时往往表现不佳，这使得 OOD 检测成为 NLP 系统的关键组成部分。在本文中，我们着重揭示现有 NLP 中 OOD 检测方法存在的局限性。具体而言，我们评估了八种易于集成到现有 NLP 系统中、且无需额外 OOD 数据或模型修改的 OOD 检测方法。我们的贡献之一是提供了一个结构良好的研究环境，使结果具有完全可复现性。此外，我们的分析表明，现有的 NLP 任务 OOD 检测方法尚不足以敏感地捕捉由各类分布偏移表征的所有样本。在背景偏移以及域内文本中单词顺序随机打乱的情况下，测试场景尤其具有挑战性。这凸显了未来工作需要为 NLP 问题开发更有效的 OOD 检测方法的必要性，而我们的工作为该领域的进一步研究提供了明确的基础。
引用
@article{arxiv.2307.07002,
title = {Classical Out-of-Distribution Detection Methods Benchmark in Text Classification Tasks},
author = {Mateusz Baran and Joanna Baran and Mateusz Wójcik and Maciej Zięba and Adam Gonczarek},
journal= {arXiv preprint arXiv:2307.07002},
year = {2023}
}
备注
11 pages, 3 figures, Association for Computational Linguistics