Satyam：面向机器视觉的标注真值民主化系统
人机交互
2018-11-12 v1 计算机视觉与模式识别
机器学习
系统与控制
机器学习
摘要
机器学习的民主化为自动驾驶、交通监控和视频监控等基于 ML 的机器视觉系统带来了发展。然而，若不极大简化收集和标注这些系统训练与测试所用真值（groundtruth）的过程，真正的民主化便无法实现。这种真值收集对于确保其在不同条件下表现良好是必要的。在本文中，我们介绍 Satyam 的设计与评估，这是一种首创的系统，使普通用户能以最小代价发起机器视觉真值收集任务。Satyam 利用众包任务平台 Amazon Mechanical Turk，并自动化了真值收集中若干具有挑战性的环节：创建和发布用于获取所需真值的自定义 Web-UI 任务、在面对垃圾发布者与未受训工人时控制结果质量、根据任务复杂度调整价格、过滤垃圾发布者与表现不佳的工人，以及处理工人报酬。我们使用多个流行的基准视觉数据集验证 Satyam，并证明由 Satyam 获取的真值与训练有素的专家所得相当，且在用于训练时提供匹配的 ML 性能。
引用
@article{arxiv.1811.03621,
title = {Satyam: Democratizing Groundtruth for Machine Vision},
author = {Hang Qiu and Krishna Chintalapudi and Ramesh Govindan},
journal= {arXiv preprint arXiv:1811.03621},
year = {2018}
}