FLatS:基于特征似然比分数的原则性分布外检测方法
机器学习
2023-10-10 v1 人工智能
计算与语言
摘要
检测分布外(OOD)实例对于实际应用中的 NLP 模型至关重要。尽管存在众多 OOD 检测方法,但其中大多数都是经验性的。在理论分析的支持下,本文主张通过分布外 与分布内 之间的似然比来度量测试用例 的“OOD 程度”。我们认为,最先进(SOTA)的基于特征的 OOD 检测方法(如 Maha 和 KNN)是次优的,因为它们仅估计分布内密度 。为解决此问题,我们提出了 FLatS,一种基于似然比的原则性 OOD 检测方案。此外,我们证明 FLatS 可作为一个通用框架,通过引入分布外密度 估计来增强其他 OOD 检测方法。实验表明,FLatS 在流行基准上建立了新的 SOTA。我们的代码公开于 https://github.com/linhaowei1/FLatS。
引用
@article{arxiv.2310.05083,
title = {FLatS: Principled Out-of-Distribution Detection with Feature-Based Likelihood Ratio Score},
author = {Haowei Lin and Yuntian Gu},
journal= {arXiv preprint arXiv:2310.05083},
year = {2023}
}