机器学习研究中编码的价值观
摘要
机器学习目前对世界施加着过大的影响，日益影响机构实践与受波及的群体。因此，关键的是我们要质疑将该领域视为价值中立或普遍有益的模糊观念，并探究该领域正在推进哪些具体价值观。在本文中，我们首先引入一种用于研究诸如研究论文等文档中所编码价值观的方法与标注方案。应用该方案，我们分析了在顶级机器学习会议 ICML 和 NeurIPS 上发表的 100 篇高被引机器学习论文。我们标注了揭示其价值观的论文关键特征：其项目选择的依据、其项目中被抬升的属性、其对潜在负面后果的考量，以及其机构隶属关系与资金来源。我们发现，极少有论文论证其项目如何与社会需求相关联（15%），而讨论潜在负面影响的更是少得多（1%）。通过逐行内容分析，我们识别出机器学习研究中所抬升的 59 种价值观，其中我们发现论文最频繁地基于性能（Performance）、泛化性（Generalization）、定量证据（Quantitative evidence）、效率（Efficiency）、建立在过往工作之上（Building on past work）和新颖性（Novelty）来论证和评估自身。我们提供了广泛的文本证据，并识别出这些价值观在定义与操作化中的关键主题。值得注意的是，我们发现存在系统性文本证据，表明这些顶级价值观在定义与应用时带有通常支持权力集中的假设与意涵。最后，我们发现这些高被引论文与科技公司和精英大学之间的联系日益紧密。
引用
@article{arxiv.2106.15590,
title = {The Values Encoded in Machine Learning Research},
author = {Abeba Birhane and Pratyusha Kalluri and Dallas Card and William Agnew and Ravit Dotan and Michelle Bao},
journal= {arXiv preprint arXiv:2106.15590},
year = {2022}
}
备注
Data and code available at https://github.com/wagnew3/The-Values-Encoded-in-Machine-Learning-Research. arXiv admin note: text overlap with arXiv:2206.04179