从草 haystack 到针：零样本分类的标签空间缩减
计算与语言
2025-11-06 v2 人工智能
机器学习
摘要
我们提出了标签空间缩减 (Label Space Reduction, LSR)，一种用于提高大型语言模型 (Large Language Model, LLM) 零样本分类性能的新方法。LSR 通过系统性地对候选类别进行排序和缩减，迭代地细化分类标签空间，使模型能够集中注意力于最相关的选项。通过利用无标签数据以及数据驱动模型的统计学习能力，LSR 在测试时动态优化标签空间表示。我们的实验在七个基准任务上表明，LSR 相对于标准零样本分类基线，以 Llama-3.1-70B 为例，平均提高 7.0%（最高达 14.2%），以 Claude-3.5-Sonnet 为例，平均提高 3.3%（最高达 11.1%）。为了减少 LSR 的计算开销，该方法每次迭代都需要额外调用一个 LLM，我们提出通过蒸馏模型为概率分类器来实现高效推断。
引用
@article{arxiv.2502.08436,
title = {From Haystack to Needle: Label Space Reduction for Zero-shot Classification},
author = {Nathan Vandemoortele and Bram Steenwinckel and Femke Ongenae and Sofie Van Hoecke},
journal= {arXiv preprint arXiv:2502.08436},
year = {2025}
}
备注
Add acknowledgment