基于预训练 Transformer 的伪离群暴露分布外检测方法
计算与语言
2023-07-20 v2
摘要
对于真实世界的语言应用，检测分布外（OOD）样本有助于提醒用户或拒绝此类不可靠样本。然而，现代过度参数化的语言模型往往对分布内（ID）和OOD样本都产生过度自信的预测。特别地，语言模型受限于与ID样本语义表示相似的OOD样本，因为这些OOD样本位于ID流形附近。可用ID和多样化离群样本训练一个拒绝网络来检测测试OOD样本，但显式收集辅助OOD数据集给数据收集带来额外负担。本文中，我们提出一种简单而有效的方法称为伪离群暴露（POE），其通过顺序掩码与ID类别相关的词元来构建代理OOD数据集。POE引入的代理OOD样本与ID数据具有相似表示，在训练拒绝网络时最为有效。我们的方法不需要任何外部OOD数据，并且可易于在现成的Transformer内实现。与最先进算法的全面比较证明了POE在若干文本分类基准上的竞争力。
引用
@article{arxiv.2307.09455,
title = {Pseudo Outlier Exposure for Out-of-Distribution Detection using Pretrained Transformers},
author = {Jaeyoung Kim and Kyuheon Jung and Dongbin Na and Sion Jang and Eunbin Park and Sungchul Choi},
journal= {arXiv preprint arXiv:2307.09455},
year = {2023}
}
备注
12 pages, 2 figures