缓解上下文学习中的标签偏差
计算与语言
2023-08-07 v3 人工智能
机器学习
摘要
上下文学习（ICL）的多种设计设定，例如上下文示例的选择与顺序，可在不反映对任务理解的情况下使模型偏向特定预测。尽管许多研究讨论了这些设计选择，但对其系统分类与影响缓解的系统性调查甚少。本文中，我们为文本分类的ICL定义了三类标签偏差的类型：朴素标签偏差、上下文标签偏差与领域标签偏差（我们首次概念化并检测了后者）。我们的分析表明，先前的标签偏差校准方法不足以应对所有三类偏差。具体而言，无论上下文示例如何选择，领域标签偏差都将LLMs在许多任务上限制于随机水平表现。为缓解这些偏差的影响，我们提出一种简单的偏差校准方法，利用任务语料库中的随机领域内词估计语言模型的标签偏差。在预测时控制该估计偏差后，我们新颖的领域-上下文校准显著提升了GPT-J与GPT-3在广泛任务上的ICL表现。在具有较大领域标签偏差的任务上增益可观（Macro-F1最高达37%）。此外，我们的结果泛化至不同规模、预训练方法与人工设计任务指令的模型，表明标签偏差在ICL中的普遍性。
引用
@article{arxiv.2305.19148,
title = {Mitigating Label Biases for In-context Learning},
author = {Yu Fei and Yifan Hou and Zeming Chen and Antoine Bosselut},
journal= {arXiv preprint arXiv:2305.19148},
year = {2023}
}
备注
Accepted to ACL 2023