什么造就了专家？审视机器学习研究者如何定义“专家”
机器学习
2024-11-04 v1 计算机与社会
摘要
人类专家经常参与机器学习系统的开发，以收集和验证数据、为算法开发提供咨询以及评估系统性能。与此同时，谁算作“专家”以及什么构成“专业知识”并不总是被明确定义。在这项工作中，我们回顾了112篇明确引用“专家”和“专业知识”并描述机器学习（ML）系统开发的学术出版物，以调查专业知识是如何被表征的以及专家所扮演的角色。我们发现，专业知识常常未被定义，并且很少寻求正规教育和专业认证之外的知识形式，这对ML开发中被认可和合法化的知识种类产生了影响。此外，我们发现专家知识往往以挖掘教科书知识的方式被利用，例如通过数据标注。我们讨论了专家参与ML开发的方式，涉及去技能化、专业知识的社会建构以及对负责任AI开发的影响。我们指出，在证明领域专家参与的合理性时，需要进行反思和具体说明，这既是文档记录和可重复性的问题，也是拓宽被认可专业知识范围的问题。
引用
@article{arxiv.2411.00179,
title = {What Makes An Expert? Reviewing How ML Researchers Define "Expert"},
author = {Mark Díaz and Angela DR Smith},
journal= {arXiv preprint arXiv:2411.00179},
year = {2024}
}