在基于提示的语言模型决策中诱导群体公平性
机器学习
2024-12-03 v2 人工智能
计算机与社会
摘要
分类器在行业中被广泛用于执行政策执行，如有毒内容检测或年龄合适内容过滤。尽管这些分类器发挥着重要作用，但也必须以方式最小化用户不公平偏见。一种这样的公平性考虑是群体公平性，即希望不同子人群获得平等对待。这一问题在“经典”分类器的上下文中已为人所熟知。然而，基于提示的语言模型 (LM) 决策的出现为解决文本分类任务提供了新的机会，而这些新型分类器的公平性属性尚不为人所了解。此外，针对 LM 基于决策者的“ remediation 工具包”不完整，关于如何在保持分类器性能的同时提高决策者群体公平性的问题仍鲜有了解。本工作旨在为该工具箱添加更多工具。我们引入了来自经典分类器公平性方法的现有有效方法的适应，以适用于基于提示的分类器空间。我们还构思了简单的方法，利用基于提示决策者的新结构，在提示层面操作。我们对这些方法在真实数据上的经验比较。我们的结果表明，对于经典分类器有效的方法的改编在 LM 基于分类器环境中仍然有效。然而，在基于提示的 remediation 方法（以及其他利用 LM 结构的 remediation 方法）方面仍有潜在的探索空间。
引用
@article{arxiv.2406.16738,
title = {Inducing Group Fairness in Prompt-Based Language Model Decisions},
author = {James Atwood and Nino Scherrer and Preethi Lahoti and Ananth Balashankar and Flavien Prost and Ahmad Beirami},
journal= {arXiv preprint arXiv:2406.16738},
year = {2024}
}