LLM对上下文多数标签偏差的鲁棒性如何？
机器学习
2023-12-29 v1 人工智能
计算与语言
摘要
在上下文学习（ICL）设置中，各种形式的标签偏差可能显现。其中一种表现是多数标签偏差，当上下文样本中标记示例的分布偏向于一个或多个特定类别时，就会产生这种偏差，使得大型语言模型（LLM）更倾向于预测这些标签。这种差异可能由多种因素引起，包括逻辑约束、数据收集方法中的固有偏差、对多样化数据源的有限访问等，这些在现实世界的工业环境中是不可避免的。在这项工作中，我们研究了LLM中上下文学习对因多数标签偏差而产生的偏移的鲁棒性，范围限定在文本分类任务内。先前的工作表明，LLM的上下文学习容易受到此类偏差的影响。在我们的研究中，我们深入一层，表明不同模型和任务的鲁棒性边界差异很大，某些LLM对多数标签偏差具有高度鲁棒性（约90%）。此外，我们的发现还强调了模型大小和指令提示的丰富性对模型鲁棒性的贡献。我们将研究仅限于公开可用的开源模型，以确保透明度和可重复性。
引用
@article{arxiv.2312.16549,
title = {How Robust are LLMs to In-Context Majority Label Bias?},
author = {Karan Gupta and Sumegh Roychowdhury and Siva Rajesh Kasa and Santhosh Kumar Kasa and Anish Bhanushali and Nikhil Pattisapu and Prasanna Srinivasa Murthy},
journal= {arXiv preprint arXiv:2312.16549},
year = {2023}
}
备注
6 pages, 3 figures, 2 table. Accepted at Workshop on Responsible Language Modeling, AAAI 2024, (www.aaai.org)