事件相机数据预训练
计算机视觉与模式识别
2023-07-21 v3
摘要
本文提出一种用于处理事件相机数据的预训练神经网络。我们的模型是一个自监督学习框架，并使用成对的事件相机数据与自然 RGB 图像进行训练。我们的方法包含顺序连接的三个模块：i) 一组事件数据增强方法，生成用于自监督训练的有意义事件图像；ii) 条件掩码策略，从事件图像中采样信息丰富的事件块，促使模型捕捉场景的空间布局并加速训练；iii) 对比学习方法，强化匹配事件图像之间以及成对事件与 RGB 图像之间嵌入的相似性。为避免在强化事件图像嵌入相似性时发生模型坍塌，提出一种嵌入投影损失。为鼓励事件图像与其成对 RGB 图像在特征空间中保持一致，提出一种概率分布对齐损失。下游任务的迁移学习性能表明我们的方法优于最先进的方法。例如，我们在 N-ImageNet 数据集上取得了 64.83% 的 top-1 准确率。
引用
@article{arxiv.2301.01928,
title = {Event Camera Data Pre-training},
author = {Yan Yang and Liyuan Pan and Liu Liu},
journal= {arXiv preprint arXiv:2301.01928},
year = {2023}
}
备注
Accepted by ICCV 2023