探索含噪标签下上下文学习的鲁棒性

最近，Transformer架构，特别是大型语言模型（LLMs）所展现的神秘的上下文学习（ICL）能力，引发了广泛的研究兴趣。然而，在训练语料和提示示例中普遍存在的含噪样本下，Transformer的上下文学习能力的韧性仍未得到充分探索。本文受先前利用简单函数类研究ICL能力的工作启发，通过考察Transformer对含噪标签的鲁棒性来深入审视这一问题。具体而言，我们首先对Transformer在上下文学习过程中对含噪标签的鲁棒性进行了全面评估和分析，表明它们对演示标签中多种类型的噪声表现出显著的韧性。此外，我们通过探索在训练集中引入噪声（类似于一种数据增强形式）是否能在推理过程中增强这种鲁棒性，来进一步深入这一问题，并发现这种噪声确实能提高ICL的鲁棒性。总体而言，我们丰富的分析和发现提供了对Transformer模型在ICL过程中对标签噪声韧性的全面理解，并为自然语言处理中Transformer的研究提供了有价值的见解。我们的代码可在 https://github.com/InezYu0928/in-context-learning 获取。