自然语言处理与大语言模型的公平性认证
计算与语言
2024-01-04 v2 人工智能
计算机与社会
机器学习
摘要
自然语言处理（NLP）在我们的日常生活中扮演着重要角色，尤其是由于大语言模型（LLM）的巨大进步。然而，NLP 有许多对公平性至关重要的用例，例如作为招聘中的专家系统或作为教育中基于 LLM 的导师。由于 NLP 基于人类语言，潜在的有害偏见可能扩散到 NLP 系统中，产生不公平的结果，歧视少数群体或引发法律问题。因此，为 NLP 方法开发公平性认证非常重要。我们采用定性研究方法来实现 NLP 的公平性认证。具体来说，我们回顾了大量关于算法公平性的文献，并对该领域的广泛专家进行了半结构化专家访谈。我们系统地设计了 NLP 的六个公平性标准，这些标准可以进一步细分为 18 个子类别。我们的标准为操作化和测试认证公平性的过程提供了基础，无论是从审计机构还是被审计组织的角度。
引用
@article{arxiv.2401.01262,
title = {Fairness Certification for Natural Language Processing and Large Language Models},
author = {Vincent Freiberger and Erik Buchmann},
journal= {arXiv preprint arXiv:2401.01262},
year = {2024}
}
备注
In depth discussion of our results can be found in the Appendix B