面向预训练Transformer的分布外对比检测
计算与语言
2022-01-24 v2
摘要
当训练数据和测试数据来自同一分布时，预训练Transformer取得卓越性能。然而，在真实世界场景中，模型经常面临分布外（OOD）实例，这些实例会在推理时引起严重的语义偏移问题。因此，在实践中，可靠的模型应识别此类实例，然后在推理时拒绝它们，或将其交给处理另一分布的模型。本文中，我们开发了一种无监督OOD检测方法，其中训练仅使用分布内（ID）数据。我们提出用对比损失微调Transformer，从而改善表示的紧凑性，使得OOD实例能更好地与ID实例区分开。随后可使用模型倒数第二层的马哈拉诺比斯距离准确检测这些OOD实例。我们在全面的设定下实验，取得了近乎完美的OOD检测性能，大幅优于基线。我们进一步探究了改进背后的原理，发现通过基于间隔的对比学习获得更紧凑的表示带来了该改进。我们向社区发布代码以供未来研究。
引用
@article{arxiv.2104.08812,
title = {Contrastive Out-of-Distribution Detection for Pretrained Transformers},
author = {Wenxuan Zhou and Fangyu Liu and Muhao Chen},
journal= {arXiv preprint arXiv:2104.08812},
year = {2022}
}
备注
Accepted at EMNLP 2021. Code available at https://github.com/wzhouad/Contra-OOD