BED：基于双编码器的分布外检测器
计算与语言
2024-03-14 v2
摘要
本文介绍了一种利用基于双编码器（bi-encoder）的检测器的新颖方法，并辅以一项综合研究，比较了 NLP 中使用不同特征提取器的不同分布外（OOD）检测方法。特征提取阶段采用 Universal Sentence Encoder (USE)、BERT、MPNET 与 GLOVE 等流行方法从文本数据中提取信息丰富的表示。评估在包括 CLINC150、ROSTD-Coarse、SNIPS 与 YELLOW 在内的多个数据集上进行。使用 F1-Score、MCC、FPR@90、FPR@95、AUPR 与 AUROC 等指标评估性能。实验结果表明，所提出的基于双编码器的检测器在所有数据集上均优于其他方法，包括训练时需要 OOD 标签与不需要 OOD 标签的方法，展现出在 NLP 中进行 OOD 检测的巨大潜力。训练过程的简洁性与优越的检测性能使其适用于真实场景。所呈现的方法与基准指标可作为 OOD 检测未来研究的宝贵资源，推动该领域的进一步进展。代码与实现细节可在我们的 GitHub 仓库找到：https://github.com/yellowmessenger/ood-detection。
引用
@article{arxiv.2306.08852,
title = {BED: Bi-Encoder-Based Detectors for Out-of-Distribution Detection},
author = {Louis Owen and Biddwan Ahmed and Abhay Kumar},
journal= {arXiv preprint arXiv:2306.08852},
year = {2024}
}
备注
Published in IEEE: https://ieeexplore.ieee.org/document/10389907