少样本学习中面向人口统计公平性的示例选择：以大语言模型为例
计算与语言
2023-11-16 v1
摘要
近来，NLP 领域的工作已转向少样本（上下文内）学习，大语言模型（LLMs）在一系列任务上表现良好。然而，尽管公平性评估已成为监督方法的标准，人们对作为预测系统的 LLMs 的公平性所知甚少。此外，常见的标准公平性方法涉及访问模型权重或应用于微调阶段，这在少样本学习中并不适用。LLMs 用于标准 NLP 任务时是否表现出预测偏差？在本工作中，我们探究了直接影响模型性能的示例（shots）对作为 NLP 分类系统的 LLMs 的公平性的影响。我们考虑了不同的示例选择策略（包括已有的和新的对人口统计敏感的方法）如何在三个标准公平性数据集上影响模型公平性。我们讨论了未来工作如何纳入 LLM 公平性评估。
引用
@article{arxiv.2311.08472,
title = {Selecting Shots for Demographic Fairness in Few-Shot Learning with Large Language Models},
author = {Carlos Aguirre and Kuleen Sasse and Isabel Cachola and Mark Dredze},
journal= {arXiv preprint arXiv:2311.08472},
year = {2023}
}