通过对抗学习匹配神经形态事件与彩色图像
计算机视觉与模式识别
2020-03-03 v1 机器学习
图像与视频处理
摘要
事件相机具有引人注目的特性：高动态范围、低延迟、低功耗和低内存占用，因而与传统基于帧的相机形成互补。它仅捕获场景的动态，并能够捕获几乎“连续”的运动。然而，与反映场景完整外观的基于帧的相机不同，事件相机丢弃了物体的详细特征，如纹理和颜色。为利用两种模态的优势，事件相机与基于帧的相机被结合用于各种机器视觉任务。于是，神经形态事件与彩色图像之间的跨模态匹配起着至关重要且不可或缺的作用。本文中，我们提出基于事件的图像检索（EBIR）问题来利用该跨模态匹配任务。给定描述特定物体作为查询的事件流，目标是检索包含同一物体的彩色图像。该问题具有挑战性，因为神经形态事件与彩色图像之间存在较大的模态鸿沟。我们通过提出神经形态事件-彩色图像特征学习（ECFL）来解决 EBIR 问题。特别地，采用对抗学习将神经形态事件与彩色图像联合建模到一个公共嵌入空间中。我们还向社区贡献了 N-UKbench 和 EC180 数据集以推动 EBIR 问题的发展。在我们数据集上的大量实验表明，所提方法在学习有效的模态不变表示以联系两种不同模态方面具有优越性。
引用
@article{arxiv.2003.00636,
title = {Matching Neuromorphic Events and Color Images via Adversarial Learning},
author = {Fang Xu and Shijie Lin and Wen Yang and Lei Yu and Dengxin Dai and Gui-song Xia},
journal= {arXiv preprint arXiv:2003.00636},
year = {2020}
}