重新思考上下文学习中的标签一致性：隐式转导标签传播视角
人工智能
2025-12-16 v1
摘要
大型语言模型（LLMs）通过最少的监督示例执行上下文学习（ICL），这有利于各种自然语言处理（NLP）任务。关键研究重点之一是提示示例的选择。当前方法通常采用检索模型来选择语义最相似的前 K 个示例作为示例。然而，我们认为现有方法存在局限性，因为在示例选择过程中标签一致性无法得到保证。我们的认知源于 ICL 的贝叶斯视角，以及我们从转导标签传播视角对 ICL 的重新思考。我们将 ICL 视为一种转导学习方法，融入贝叶斯视角中的潜在概念，并推断相似的示例引导查询的概念，其中一致的标签充当估计值。基于这一理解，我们建立了一个标签传播框架，将标签一致性与传播误差界联系起来。为建模标签一致性，我们提出了一种数据合成方法，利用语义和标签信息，并使用 TopK-SD（TopK sampling with Synthetic Data）获取具有一致标签的示例。TopK-SD 在多个基准测试上优于原始 TopK 采样。我们的工作为理解 ICL 内部的工作机制提供了新视角。
引用
@article{arxiv.2512.12175,
title = {Rethinking Label Consistency of In-Context Learning: An Implicit Transductive Label Propagation Perspective},
author = {Haoyang Chen and Richong Zhang and Junfan Chen},
journal= {arXiv preprint arXiv:2512.12175},
year = {2025}
}