基于合成数据的无人机影像斑马检测

如今，有大量数据集可用于训练通用目标检测器或人体检测器。这些数据集以带标注的真实世界图像形式存在，要么需要大量人力且极可能出现漏标等错误，要么场景非常受限，例如VICON系统。另一方面，非常规场景（如航拍视角）、动物（如野生斑马）或难以获取的信息（如人体形状）几乎不可得。为克服此问题，利用逼真渲染技术生成合成数据近年来受到关注，并推进了目标跟踪与人体姿态估计等研究领域。然而，野生生物等对象在这样的数据集中仍通常代表性不足。本文中，我们首先表明预训练的YOLO检测器无法识别从空中视角记录的真实图像中的斑马。为此，我们提出一种仅使用合成数据训练动物检测器的方法。我们首先使用最先进的生成框架GRADE生成一个新的合成斑马数据集。该数据集包含每个对象的RGB、深度、骨骼关节位置、姿态、形状和实例分割。我们用其从头训练YOLO检测器。通过对我们的模型使用i)互联网上有限的可用数据集与ii)我们收集并手动标注的新数据集的真实世界数据进行广泛评估，表明我们仅能在训练中使用合成数据来检测斑马。代码、结果、训练模型以及生成与训练数据均在 https://eliabntt.github.io/grade-rr 开源提供。