基于预训练Transformer的无监督域外检测
计算与语言
2022-05-23 v2 机器学习
摘要
部署的真实世界机器学习应用常面临不受控甚至潜在恶意的输入。这些域外输入可能导致不可预测的输出，有时引发灾难性安全问题。先前关于域外检测的研究需要域内任务标签，且局限于有监督分类场景。我们的工作致力于仅利用无监督域内数据来检测域外样本。我们利用预训练Transformer的潜在表示，提出一种简单而有效的方法，跨所有层转换特征以高效构建域外检测器。进一步提出两种领域特定的微调方法以提升检测精度。我们在两个数据集上对相关方法的实证评估证实，我们的方法在更通用的场景中大幅提升了域外检测能力。
引用
@article{arxiv.2106.00948,
title = {Unsupervised Out-of-Domain Detection via Pre-trained Transformers},
author = {Keyang Xu and Tongzheng Ren and Shikun Zhang and Yihao Feng and Caiming Xiong},
journal= {arXiv preprint arXiv:2106.00948},
year = {2022}
}
备注
Accepted by ACL 2021. Code is available at https://github.com/rivercold/BERT-unsupervised-OOD