学习选择：探索标签分布散度在文本分类中的上下文演示选择
计算与语言
2025-11-17 v1 人工智能
信息检索
摘要
基于少量输入-标签演示描述任务的上下文学习（ICL）在大语言模型（LLMs）上已显示出惊人的性能。然而，上下文演示的选择对LLMs性能发挥关键作用且具有显著影响。大多数现有演示选择方法主要关注测试输入与演示之间的语义相似性，往往忽视标签分布对齐的重要性。为此，我们提出一种两阶段演示选择方法：TopK + 标签分布散度（L2D），利用微调的BERT类小型语言模型（SLM）生成标签分布并计算它们的散度，用于测试输入和候选演示。这 enabled the selection of demonstrations that are not only semantically similar but also aligned in label distribution with the test input. 在七个文本分类基准测试上进行的广泛实验表明，我们的方法在持续超越以往演示选择策略。进一步分析揭示了LLMs性能与底层SLM用于标签分布估计的准确性之间存在正相关性。
引用
@article{arxiv.2511.10675,
title = {Learn to Select: Exploring Label Distribution Divergence for In-Context Demonstration Selection in Text Classification},
author = {Ye Jiang and Taihang Wang and Youzheng Liu and Yimin Wang and Yuhan Xia and Yunfei Long},
journal= {arXiv preprint arXiv:2511.10675},
year = {2025}
}