Mephisto: 一个可移植、可复现且可迭代的众包框架
人工智能
2023-01-13 v1 人机交互
摘要
我们介绍 Mephisto，一个旨在使研究用众包更具可复现性、透明性和协作性的框架。Mephisto 提供了覆盖广泛任务设计和数据收集工作流的抽象，并提供简单的用户体验，使最佳实践成为易于使用的默认设置。在本白皮书中，我们讨论了机器学习研究中数据收集和标注的现状，阐述了构建一个共享框架的动机，以使研究人员能够创建并开源数据收集和标注工具作为其发表成果的一部分，并概述了一组促进这些目标的系统建议需求。然后，我们逐步介绍了在 Mephisto 中的解决方案，解释了我们使用的抽象、围绕用户体验的设计决策，并分享了实现细节及其与原始动机的契合之处。我们还讨论了当前的局限性，以及为持续实现该框架初始目标而进行的未来工作。Mephisto 作为一个开源项目提供，其文档可在 www.mephisto.ai 找到。
引用
@article{arxiv.2301.05154,
title = {Mephisto: A Framework for Portable, Reproducible, and Iterative Crowdsourcing},
author = {Jack Urbanek and Pratik Ringshia},
journal= {arXiv preprint arXiv:2301.05154},
year = {2023}
}