利用人在回路中的机器改善伦理结果：拓宽人类对数据标注的理解
计算与语言
2021-12-21 v1 人工智能
计算机与社会
机器学习
摘要
我们引入了一种人在回路中的机器流水线，旨在解决教育领域基于自然语言的有监督机器学习任务中不良偏差的根本原因。从学生经验中学习是教育研究者和学术管理者的基础。从经验中习得的 21 世纪技能正成为大学与职业准备以及新经济知识型经济中招聘过程的核心部分。少数族裔学生在日常生活中展现出这些技能，但记录、评估和验证这些技能对教育机构而言是巨大难题。作为一个聚焦公平的在线平台，LivedX 将少数族裔学生的生活经验转化为 21 世纪技能，颁发微证书，并创建个人 21 世纪技能档案。为从学生提交论文的自然语言文本中自动挖掘微证书，我们采用词袋模型构建多输出分类器。尽管我们有此目标，模型最初却加剧了对少数族裔学生的差异性影响。我们使用人在回路中的模型开发流水线解决问题并改进上述模型，以确保其预测的公平性。
引用
@article{arxiv.2112.09738,
title = {Improving Ethical Outcomes with Machine-in-the-Loop: Broadening Human Understanding of Data Annotations},
author = {Ashis Kumer Biswas and Geeta Verma and Justin Otto Barber},
journal= {arXiv preprint arXiv:2112.09738},
year = {2021}
}
备注
Accepted and presented at the Human Centered AI workshop at the 35th Conference on Neural Information Processing Systems (NeurIPS), Dec 13th 2021