文本生成中上下文学习的噪声鲁棒性研究
计算与语言
2024-10-25 v3 机器学习
摘要
大语言模型（LLMs）通过上下文学习（ICL）在下游任务上展现出令人瞩目的性能，而这一性能在很大程度上依赖于从大量标注示例中选取的示范质量。近期研究声称，在文本分类任务中，上下文学习对噪声示范具有鲁棒性。在本工作中，我们表明，在文本生成任务上，噪声标注会显著损害上下文学习的性能。为规避这一问题，我们提出了一种简单而有效的方法，称为局部困惑度排序（LPR），该方法将“噪声”候选替换为其在语义空间中更可能干净的最近邻。我们的方法源于对噪声标签引起的困惑度偏差的分析，并将困惑度分解为固有困惑度和匹配困惑度。因此，LPR 背后的关键思想是通过在语义空间中的邻居间进行排序来解耦匹配困惑度。我们的方法能够防止所选示范包含不匹配的输入-标签对，同时保留原始选择方法的有效性。大量实验证明了 LPR 的有效性，在带有噪声标注的常见基准上，EM 分数最高提升了 18.75。我们的代码可在 https://github.com/ml-stat-Sustech/Local-Perplexity-Ranking 获取。
引用
@article{arxiv.2405.17264,
title = {On the Noise Robustness of In-Context Learning for Text Generation},
author = {Hongfu Gao and Feipeng Zhang and Wenyu Jiang and Jun Shu and Feng Zheng and Hongxin Wei},
journal= {arXiv preprint arXiv:2405.17264},
year = {2024}
}
备注
Accepted by NeurIPS 2024