消除大语言模型文本分类中的边界模糊与内在偏置
计算与语言
2024-06-12 v1 人工智能
摘要
文本分类是实际场景中遇到的关键任务，但在大语言模型（LLM）时代仍受到 insufficient 探索。本研究表明，LLM 对文本分类中选项数量和排列的变化极其敏感。我们的广泛实证分析揭示，关键瓶颈源于模糊的决策边界以及对特定 token 和位置的内在偏见。为消除这些问题，我们首次提出一种新颖的两阶段分类框架用于 LLM。我们的方法建立在成对比较能够有效缓解边界模糊和内在偏见的经验观察之上。具体而言，我们首先采用自我归约技术高效地缩小众多选项的范围，从而减少决策空间并加快比较过程。随后，在链式思考方式下采用成对对比比较，以提取细微差异并区分易混淆选项，从而细化模糊的决策边界。对四个数据集（Banking77、HWU64、LIU54 和 Clinic150）进行广泛实验验证了我们框架的有效性。此外，受益于我们的方法，各种 LLM 都能实现一致的改进。我们的代码和数据已在 \url{https://github.com/Chuge0335/PC-CoT} 上提供。
引用
@article{arxiv.2406.07001,
title = {Mitigating Boundary Ambiguity and Inherent Bias for Text Classification in the Era of Large Language Models},
author = {Zhenyi Lu and Jie Tian and Wei Wei and Xiaoye Qu and Yu Cheng and Wenfeng xie and Dangyang Chen},
journal= {arXiv preprint arXiv:2406.07001},
year = {2024}
}
备注
ACL2024 findings