分布外文本的类型及其检测方法
计算与语言
2021-12-16 v2 机器学习
摘要
尽管在检测分布外（OOD）示例的重要性上已有共识，但对于 OOD 示例的形式化定义以及最佳检测方法却鲜有的一致意见。我们依据这些示例是否呈现背景偏移或语义偏移对其进行分类，并发现两种主要的 OOD 检测方法——模型校准与密度估计（文本的语言建模）——在这两类 OOD 数据上表现出迥异的行为。在 14 对分布内与 OOD 的英语自然语言理解数据集上，我们发现密度估计方法在背景偏移设定下始终优于校准方法，而在语义偏移设定下表现更差。此外，我们发现两种方法普遍无法检测来自挑战数据的示例，凸显了当前方法的薄弱环节。由于没有任何单一方法能在所有设定下表现良好，我们的结果呼吁在评估不同检测方法时对 OOD 示例给出明确定义。
引用
@article{arxiv.2109.06827,
title = {Types of Out-of-Distribution Texts and How to Detect Them},
author = {Udit Arora and William Huang and He He},
journal= {arXiv preprint arXiv:2109.06827},
year = {2021}
}
备注
EMNLP 2021