面向人工审计的非比较公平性及其与传统公平性概念的关系
机器学习
2021-07-06 v1 人工智能
人机交互
摘要
基于依赖比较原则的传统算法公平性概念对机器学习服务（MLS）的偏差评估在实践中十分困难，使得必须依赖人工审计员反馈。然而，尽管人工审计员接受过各种比较公平性概念的严格训练，已知他们在实践中对公平性的诸多方面存在分歧，导致难以收集可靠反馈。本文通过提出一种基于非比较正义原则的新公平性概念，为算法公平领域提供范式转变。与传统公平性概念比较两个个体/群体的结果不同，我们所提概念将MLS的输出与每个输入的期望输出进行比较。该期望输出自然描述了人工审计员的预期，并可轻易用于众包审计平台上的MLS评估。我们表明，任何MLS若相对于公平审计员是非比较公平的，则从比较公平性（无论是个体公平性、统计 parity、机会均等还是校准意义下）角度均可视为公平。我们还表明，在个体公平性背景下逆命题亦成立。鉴于此类评估依赖于审计员的可信度，我们还提出一种通过估计审计员相对于给定敏感属性集的偏差来识别公平可靠审计员的方法，并量化给定MLS内偏差估计的不确定性。此外，上述所有结果均在COMPAS、German credit和Adult Census Income数据集上得到验证。
引用
@article{arxiv.2107.01277,
title = {Non-Comparative Fairness for Human-Auditing and Its Relation to Traditional Fairness Notions},
author = {Mukund Telukunta and Venkata Sriram Siddhardh Nadendla},
journal= {arXiv preprint arXiv:2107.01277},
year = {2021}
}
备注
arXiv admin note: substantial text overlap with arXiv:2009.04383