陪审学习：将异议声音整合进机器学习模型
人机交互
2022-02-08 v1 人工智能
机器学习
摘要
机器学习(ML)算法应当学习去模仿谁的标签？对于从在线评论毒性到错误信息检测再到医疗诊断的 ML 任务，社会中的不同群体可能对真实标签存在不可调和的分歧。当今的监督式 ML 通过多数投票隐式地解决这些标签分歧，这覆盖了少数群体的标签。我们引入陪审学习，一种监督式 ML 方法，通过陪审团的比喻显式地解决这些分歧：定义哪些人或群体、以何种比例来决定分类器的预测。例如，一个用于在线毒性的陪审学习模型可能会以女性和黑人陪审员为中心，他们通常是在线骚扰的常见目标。为实现陪审学习，我们贡献了一个深度学习架构，该架构对数据集中每个标注者建模，从标注者模型中采样以填充陪审团，然后运行推理进行分类。我们的架构支持动态适应其组成的陪审团、探索反事实以及可视化异议。
引用
@article{arxiv.2202.02950,
title = {Jury Learning: Integrating Dissenting Voices into Machine Learning Models},
author = {Mitchell L. Gordon and Michelle S. Lam and Joon Sung Park and Kayur Patel and Jeffrey T. Hancock and Tatsunori Hashimoto and Michael S. Bernstein},
journal= {arXiv preprint arXiv:2202.02950},
year = {2022}
}
备注
To appear at CHI 2022