LangFair：用于评估大语言模型用例中偏见与公平性的 Python 包
计算与语言
2025-01-30 v1 人工智能
计算机与社会
机器学习
摘要
大语言模型（LLMs）已在诸多方面表现出偏见，可能为由性别、种族、性取向或年龄等受保护属性所界定的特定群体带来或加剧不利结果。为应对这一缺口，我们推出 LangFair——一个开源的 Python 包，旨在为大语言模型从业者提供工具，以评估与其特定用例相关的偏见与公平性风险。该包提供便捷功能，可生成由大语言模型对特定用例提示的回复所组成的评估数据集，并随后为从业者的用例计算适用的指标。为辅助指标选择，LangFair 提供了一套可操作的决策框架。
引用
@article{arxiv.2501.03112,
title = {LangFair: A Python Package for Assessing Bias and Fairness in Large Language Model Use Cases},
author = {Dylan Bouchard and Mohit Singh Chauhan and David Skarbrevik and Viren Bajaj and Zeya Ahmad},
journal= {arXiv preprint arXiv:2501.03112},
year = {2025}
}
备注
Journal of Open Source Software; LangFair repository: https://github.com/cvs-health/langfair