上下文学习中敏感度与准确率的关系
计算与语言
2024-01-30 v3 人工智能
机器学习
摘要
上下文学习（ICL）对提示词过度敏感，导致其在真实场景中不可靠。我们研究了 ICL 针对多种扰动类型的敏感度。首先，我们发现标签偏置掩盖了真实敏感度，因此先前工作可能严重低估了 ICL 敏感度。其次，我们观察到 ICL 敏感度与准确率间存在强负相关：对扰动敏感的预测更可能为错。受这些发现启发，我们提出 \textsc{SenSel}，一种对敏感预测进行弃拒的少样本选择性预测方法。在十个分类数据集上的实验表明，\textsc{SenSel} 在弃拒决策上一致优于两种常用的基于置信度与基于熵的基线。
引用
@article{arxiv.2209.07661,
title = {On the Relation between Sensitivity and Accuracy in In-context Learning},
author = {Yanda Chen and Chen Zhao and Zhou Yu and Kathleen McKeown and He He},
journal= {arXiv preprint arXiv:2209.07661},
year = {2024}
}
备注
EMNLP 2023 camera-ready