通过激活分布峰度优化标签集以实现生成模型的零样本分类
计算与语言
2025-08-27 v2
摘要
上下文学习（ICL）的性能对提示设计高度敏感，然而在零样本分类中，类别标签选项（例如词汇或顺序）的影响仍未得到充分探索。本研究提出了LOADS（通过激活分布峰度优化标签集），一种用于在大语言模型（LLM）的零样本ICL中选择最优标签集的事后方法。LOADS建立在我们实证分析中的观察之上，该分析首次系统地考察了标签选项设计（即词汇选择、顺序和细化）如何影响分类性能。该分析表明，提示中标签的词汇选择（例如立场分类中的agree与support）在模型性能以及模型对标签顺序的敏感性方面都起着重要作用。进一步的研究表明，最优标签词倾向于激活LLM前馈网络中较少的异常神经元。然后，LOADS利用峰度来衡量用于标签选择的神经元激活分布，仅需一次前向传播，无需梯度传播或标注数据。LOADS选择的标签词在分类任务、数据集、模型和语言中一致地证明了其在零样本ICL中的有效性，与使用原始数据集标签词的传统方法相比，实现了从0.54到0.76的最大性能提升。
引用
@article{arxiv.2410.19195,
title = {Label Set Optimization via Activation Distribution Kurtosis for Zero-shot Classification with Generative Models},
author = {Yue Li and Zhixue Zhao and Carolina Scarton},
journal= {arXiv preprint arXiv:2410.19195},
year = {2025}
}
备注
Accepted by EMNLP 2025