文本分类中的公平性评估：机器学习从业者对个体公平与群体公平的视角
人机交互
2023-03-02 v1 计算机与社会
机器学习
摘要
缓解算法偏见是机器学习模型开发与部署中的关键任务。尽管已有若干工具包协助机器学习从业者应对公平性问题，但关于从业者所采用的评估模型公平性的策略及其影响因素，尤其在文本分类背景下，仍知之甚少。评估模型公平性的两种常见方法是群体公平与个体公平。我们对机器学习从业者（n=24）开展研究以理解其评估模型的策略。呈现给从业者的指标（群体公平 vs. 个体公平）会影响他们认为哪些模型是公平的。参与者关注与欠预测/过预测相关的风险，以及模型相对于身份标记操纵的敏感性。我们发现公平性评估策略涉及个人经验或用户如何形成身份标记组以测试模型公平性。我们为评估文本分类中公平性的交互式工具提供建议。
引用
@article{arxiv.2303.00673,
title = {Fairness Evaluation in Text Classification: Machine Learning Practitioner Perspectives of Individual and Group Fairness},
author = {Zahra Ashktorab and Benjamin Hoover and Mayank Agarwal and Casey Dugan and Werner Geyer and Hao Bang Yang and Mikhail Yurochkin},
journal= {arXiv preprint arXiv:2303.00673},
year = {2023}
}
备注
To appear in Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (CHI '23)