使用 Crowd-Kit 从众包中学习
人机交互
2024-04-09 v4 软件工程
摘要
本文介绍 Crowd-Kit，一个用于众包的通用途计算质量控制工具包。Crowd-Kit 以 Python 提供了流行质量控制算法的高效便捷实现，包括真值推断、从众包深度学习和数据质量估计的方法。我们的工具包支持多种答案模态，并提供数据集加载器和示例笔记本以加速原型开发。我们在多个不同性质的数据集上广泛评估了我们的工具包，从而使用同一代码库以统一、系统和可复现的方式对计算质量控制方法进行基准测试。我们在 Apache License 2.0 下发布代码和数据：https://github.com/Toloka/crowd-kit。
引用
@article{arxiv.2109.08584,
title = {Learning from Crowds with Crowd-Kit},
author = {Dmitry Ustalov and Nikita Pavlichenko and Boris Tseitlin},
journal= {arXiv preprint arXiv:2109.08584},
year = {2024}
}
备注
published at JOSS