预测公平性的系统性评估
机器学习
2022-10-18 v1 计算与语言
摘要
在偏置数据集上训练时减轻偏置是一个重要的开放问题。已有若干技术被提出，但典型的评估机制非常有限，仅考虑极窄的数据条件。例如，目标类别不平衡与刻板印象的影响研究不足。为弥补这一缺口，我们考察了多种去偏方法在多个任务上的表现，涵盖二分类（Twitter 情感）、多分类（职业预测）与回归（效价预测）。通过大量实验，我们发现数据条件对模型相对性能有强烈影响，且当仅像当前公平性研究实践那样在标准数据集上评估时，无法就方法有效性得出一般性结论。
引用
@article{arxiv.2210.08758,
title = {Systematic Evaluation of Predictive Fairness},
author = {Xudong Han and Aili Shen and Trevor Cohn and Timothy Baldwin and Lea Frermann},
journal= {arXiv preprint arXiv:2210.08758},
year = {2022}
}
备注
AACL 2022