保持社区在环：理解维基百科利益相关者对基于机器学习系统的价值诉求
人机交互
2020-01-15 v1 机器学习
摘要
在维基百科上，复杂的算法工具被用于评估编辑质量并采取纠正措施。然而，若算法与使用该工具的社区价值相冲突，便可能无法解决其设计所要处理的问题。在本研究中，我们采用价值敏感算法设计方法，来理解一个由社区创建并维护的基于机器学习的算法——客观修订评估系统（ORES），这是一种用于众多维基百科应用与场景的质量预测系统。跨利益相关者群体汇聚出 ORES（及其依赖应用）应具备的五大价值：(1) 减少社区维护的工作量，(2) 保持人类判断为最终权威，(3) 支持不同人群的不同工作流，(4) 鼓励与多样化编辑群体的正向互动，(5) 建立社区内人员与算法的可信度。我们揭示了这些价值之间的张力，并探讨了对改进如 ORES 之类算法的未来研究启示。
引用
@article{arxiv.2001.04879,
title = {Keeping Community in the Loop: Understanding Wikipedia Stakeholder Values for Machine Learning-Based Systems},
author = {C. Estelle Smith and Bowen Yu and Anjali Srivastava and Aaron Halfaker and Loren Terveen and Haiyi Zhu},
journal= {arXiv preprint arXiv:2001.04879},
year = {2020}
}
备注
10 pages, 1 table, accepted paper to CHI 2020 conference