带噪声标签的情境学习
计算与语言
2024-12-02 v1
摘要
情境学习指的是大型语言模型（LLM）能够在无需额外训练的情况下执行目标任务的新兴能力，这些能力利用任务演示。最近的研究旨在通过选择更有用的演示来提高情境学习性能。然而，这些研究忽略了在现实世界标记过程中不可避免存在的任务演示中噪声标签的存在。本文提出了一项新任务，即带噪声标签的情境学习，旨在解决现实世界情境学习中标签在任务演示中可能被破坏的情形。此外，我们受动力学学习中处理噪声标签的研究启发，提出了一种新方法和基线方法。通过实验，我们展示了我们提出的方法可作为防止因噪声标签导致的情境学习性能下降而受到的保护。
引用
@article{arxiv.2411.19581,
title = {In-Context Learning with Noisy Labels},
author = {Junyong Kang and Donghyun Son and Hwanjun Song and Buru Chang},
journal= {arXiv preprint arXiv:2411.19581},
year = {2024}
}