EI-Nexus：面向事件-图像数据的无中介灵活跨模态局部特征提取与匹配
计算机视觉与模式识别
2024-10-30 v1 机器人学
图像与视频处理
摘要
事件相机具有高时间分辨率和高动态范围，但关于事件-图像数据的跨模态局部特征提取与匹配研究有限。我们提出了EI-Nexus，一个无中介且灵活的框架，它集成了两个模态特定的关键点提取器和一个特征匹配器。为了实现跨视角和模态变化的关键点提取，我们引入了局部特征蒸馏（LFD），它将视角一致性从一个训练有素的图像提取器迁移到事件提取器，确保了鲁棒的特征对应。此外，借助上下文聚合（CA），在特征匹配方面观察到了显著的增强。我们进一步建立了前两个跨模态特征匹配基准，MVSEC-RPE和EC-RPE，以评估事件-图像数据上的相对位姿估计。我们的方法优于依赖显式模态转换的传统方法，提供了更无中介、适应性更强的特征提取与匹配，在MVSEC-RPE和EC-RPE基准上实现了更好的关键点相似性和最先进的结果。源代码和基准将在https://github.com/ZhonghuaYi/EI-Nexus_official上公开提供。
引用
@article{arxiv.2410.21743,
title = {EI-Nexus: Towards Unmediated and Flexible Inter-Modality Local Feature Extraction and Matching for Event-Image Data},
author = {Zhonghua Yi and Hao Shi and Qi Jiang and Kailun Yang and Ze Wang and Diyang Gu and Yufan Zhang and Kaiwei Wang},
journal= {arXiv preprint arXiv:2410.21743},
year = {2024}
}
备注
Accepted to WACV 2025. The source code and benchmarks will be made publicly available at https://github.com/ZhonghuaYi/EI-Nexus_official