通过无监督域适应弥合事件与帧之间的鸿沟
计算机视觉与模式识别
2022-02-04 v2
摘要
在快速机动或高动态范围环境中的可靠感知对机器人系统至关重要。由于事件相机对这些挑战性条件具有鲁棒性，它们具有提高机器人视觉可靠性的巨大潜力。然而，由于事件相机的新颖性，标注数据集的匮乏制约了基于事件的视觉的发展。为克服这一缺陷，我们提出一种任务迁移方法，直接使用标注图像和未标注事件数据训练模型。与先前方法相比，（i）我们的方法从单幅图像迁移到事件，而非高帧率视频，且（ii）不依赖配对的传感器数据。为此，我们利用生成式事件模型将事件特征拆分为内容特征和运动特征。这种拆分实现了事件与图像潜在空间的高效匹配，而这对成功的任务迁移至关重要。因此，我们的方法释放了海量现有图像数据集用于基于事件的神经网络训练。我们的任务迁移方法在目标检测上持续优于无监督域适应方法0.26 mAP（提升93%），在分类上持续优于2.7%准确率。
引用
@article{arxiv.2109.02618,
title = {Bridging the Gap between Events and Frames through Unsupervised Domain Adaptation},
author = {Nico Messikommer and Daniel Gehrig and Mathias Gehrig and Davide Scaramuzza},
journal= {arXiv preprint arXiv:2109.02618},
year = {2022}
}