挑战 AI 思维：一个用于主动 AI 测试的众包系统
人工智能
2018-10-23 v1
摘要
人工智能(AI)已多方面渗入我们的生活；然而，若缺乏恰当测试，已部署的 AI 系统常因在关键且尴尬的案例中失效而受到批评。现有测试方法主要依赖固定且预定义的数据集，提供的测试覆盖有限。本文中，我们提出主动测试的概念，以动态生成测试数据并评估 AI 系统的性能。我们进一步介绍 Challenge.AI，这是一个新的众包系统，其特点是在错误生成、错误验证、错误分类和错误分析过程中集成了众包与机器学习技术。我们呈现了与 AI 开发者参与式设计的经验与见解。评估表明，在机器学习技术的辅助下，众包工作流更为有效。AI 开发者发现，我们的系统能帮助他们发现 AI 模型产生的未知错误，并参与到主动测试的过程中。
引用
@article{arxiv.1810.09030,
title = {Challenge AI Mind: A Crowd System for Proactive AI Testing},
author = {Siwei Fu and Anbang Xu and Xiaotong Liu and Huimin Zhou and Rama Akkiraju},
journal= {arXiv preprint arXiv:1810.09030},
year = {2018}
}
备注
a 10-page full paper