大语言模型与传统机器学习的直面比较：重新思考表格分类中大语言模型的公平性
计算与语言
2024-04-04 v2 机器学习
摘要
近期文献表明了使用大语言模型(LLMs)对表格任务进行分类的潜力。然而，LLMs已被证明会表现出反映社会中刻板印象与不平等的有害社会偏见。鉴于此，以及表格数据在许多高风险应用中的广泛使用，探索以下问题十分重要：LLMs在对表格任务进行分类时利用了哪些信息来源；LLM对表格数据的分类是否以及在多大程度上受社会偏见和刻板印象影响；以及这对公平性有何后果性影响？通过一系列实验，我们深入探究这些问题，并表明LLMs倾向于从其训练数据中继承社会偏见，这显著影响了它们在表格分类任务中的公平性。此外，我们的研究表明，在偏见缓解背景下，尽管上下文学习和微调具有中等程度的效果，不同子组之间的公平性度量差距仍大于传统机器学习模型（如随机森林和浅层神经网络）中的差距。这一观察强调社会偏见是LLMs自身固有的并从其预训练语料继承而来，而非仅来自下游任务数据集。此外，我们证明了上下文示例的标签翻转可以显著减少偏见，进一步凸显了LLMs中固有偏见的存在。
引用
@article{arxiv.2310.14607,
title = {Confronting LLMs with Traditional ML: Rethinking the Fairness of Large Language Models in Tabular Classifications},
author = {Yanchen Liu and Srishti Gautam and Jiaqi Ma and Himabindu Lakkaraju},
journal= {arXiv preprint arXiv:2310.14607},
year = {2024}
}
备注
NAACL 2024 (Main Conference)