跨类别与样本层级的集成去偏以实现更公平的提示准确性
计算与语言
2025-07-28 v4
摘要
语言模型是强大的少样本学习者，在文本分类任务中取得了良好的整体准确率，但这掩盖了其结果存在严重的类别准确率不平衡的问题。我们认为，整体准确率的追求不应来自增强强类别，而应来自提升弱类别。为解决这一不平衡，本文提出了一种基于赫维赛德阶跃函数(Heaviside step function)的集成去偏方法，能够在类别和样本两个层级灵活修正上下文学习中的类别概率。在 Llama-2-13B 上的七项文本分类基准评估表明，本文方法在整体准确率提升的同时实现了平衡的类别准确率。更重要的是，本文对所产生的概率修正方案进行了分析，表明样本层级的修正对于提升弱类别是必要的。由于有效纠正了弱类别，本文方法在更大模型变体 Llama-2-70B 上也带来了显著的性能提升，尤其是在生物医学领域任务上，进一步证明了在两个层级进行集成去偏的必要性。源代码可在 https://github.com/NUS-HPC-AI-Lab/DCS 获取。
引用
@article{arxiv.2503.05157,
title = {Ensemble Debiasing Across Class and Sample Levels for Fairer Prompting Accuracy},
author = {Ruixi Lin and Ziqiao Wang and Yang You},
journal= {arXiv preprint arXiv:2503.05157},
year = {2025}
}
备注
Published as a conference paper at COLM 2025