对比新颖性增强学习：利用大型语言模型预测离群值
计算与语言
2023-05-29 v2
摘要
在许多任务场景中，文本分类模型可能会遇到来自新类别的样本，而它们无法对这些样本进行正确预测。选择性预测，即模型对低置信度样本放弃预测，提供了一种可能的解决方案，但现有模型对未见过的类别往往过于自信。为了纠正这种过度自信，我们引入了对比新颖性增强学习（CoNAL），这是一种两步法，首先生成代表新类别的分布外（OOD）样本，然后训练模型降低对这些样本的置信度。首先，我们通过两次提示大型语言模型来生成OOD样本：我们提示它枚举相关的新类别，然后为每个新类别生成符合任务格式的样本。其次，我们使用一种新颖的对比目标训练分类器，该目标鼓励模型对生成的OOD样本的置信度低于训练样本。使用 CoNAL 训练后，分类器在检测和放弃新类别样本的能力上，相较于先前方法，在4个NLP数据集上的准确率-覆盖率曲线下面积（AUAC）平均提高了2.3%，AUROC平均提高了5.5%，且不影响分布内准确率。
引用
@article{arxiv.2211.15718,
title = {Contrastive Novelty-Augmented Learning: Anticipating Outliers with Large Language Models},
author = {Albert Xu and Xiang Ren and Robin Jia},
journal= {arXiv preprint arXiv:2211.15718},
year = {2023}
}
备注
ACL 2023