少样本公平性：揭示大语言模型在公平感知分类中的潜力
计算与语言
2024-02-29 v1
摘要
在大语言模型（LLM）应用于分类等各种下游任务时，尤其是对于缺乏微调模型所需专业知识和资源的中小型公司而言，其作用至关重要。LLM 中的公平性有助于确保包容性，基于种族、性别等因素实现平等代表，并促进负责任的 AI 部署。随着 LLM 的使用日益普遍，评估其在考虑公平性因素时能否生成公平结果变得至关重要。在本研究中，我们引入了一个框架，概述了与各种公平性定义相一致的公平性规则，其中每个定义均由不同程度的抽象度进行调节。我们探索了上下文学习（in-context learning）的配置以及利用检索增强生成（RAG）选择上下文示例的过程，同时将公平性规则纳入该流程。针对不同 LLM 进行的实验表明，GPT-4 在准确性和公平性方面均优于其他模型。这项工作是通过上下文学习利用 LLM 实现预测任务公平性的早期尝试之一。
引用
@article{arxiv.2402.18502,
title = {Few-Shot Fairness: Unveiling LLM's Potential for Fairness-Aware Classification},
author = {Garima Chhikara and Anurag Sharma and Kripabandhu Ghosh and Abhijnan Chakraborty},
journal= {arXiv preprint arXiv:2402.18502},
year = {2024}
}
备注
Under review