LeagueAI：通过自动生成训练数据与域随机化提升目标检测器性能与灵活性
计算机视觉与模式识别
2019-06-03 v1 机器学习
图像与视频处理
机器学习
摘要
在本技术报告中，我提出了一种用于目标检测的自动合成数据集生成方法，并以电子游戏英雄联盟（League of Legends）为例进行演示。本报告亦作为如何自动生成数据集的手册，以及 LeagueAI 框架中数据集生成部分的入门介绍。LeagueAI 框架是一个软件框架，基于人类玩家所拥有的相同输入（即视觉）提供关于英雄联盟游戏的详细信息。该框架允许研究人员与爱好者开发自己的智能体或提取关于游戏状态的详细信息。机器视觉应用的一大问题通常是收集大量人工标注数据的繁重工作。因此，本报告介绍了 LeagueAI 框架视觉流水线中的关键部分——数据集生成。该方法涉及从游戏的 3D 模型中抽取图像原始数据，并将其与游戏背景结合以创建类游戏合成图像，同时自动生成相应标注。在实验中，我将基于合成数据训练的模型、基于人工标注数据训练的模型以及基于混合数据集训练的模型进行了比较。基于合成数据训练的模型在更多类别上展现出更高的检测精度，以及对玩家角色更可靠的跟踪性能。基于混合数据集训练的模型表现未更优，原因在于旧有人工标注数据集与合成数据的格式不同。
引用
@article{arxiv.1905.13546,
title = {LeagueAI: Improving object detector performance and flexibility through automatically generated training data and domain randomization},
author = {Oliver Struckmeier},
journal= {arXiv preprint arXiv:1905.13546},
year = {2019}
}