基于自监督学习和非相关条件化的事件与帧关联用于无监督域适应
计算机视觉与模式识别
2025-07-01 v2
摘要
事件相机在挑战性场景（如高动态范围环境和快速运动机动）中为执行计算机视觉任务提供了精确且高时间分辨率的测量。尽管有这些优势，但由于事件相机相对较新，标注数据稀缺，利用深度学习进行事件视觉遇到了重大障碍。为克服这一限制，利用从传统帧相机获得的标注数据中的知识，提供了一种基于无监督域适应的有效解决方案。我们提出了一种新算法，专门用于使在标注帧数据上训练的深度神经网络能够很好地泛化到未标注的事件数据。我们的方法在对抗学习方案中结合了非相关条件化和自监督学习，以缩小源域和目标域之间的差距。通过应用自监督学习，算法学习将事件数据的表示与帧相机数据的表示对齐，从而促进知识迁移。此外，非相关条件化的加入确保适应后的模型有效区分事件数据和常规数据，增强其准确分类事件图像的能力。通过实验评估，我们证明我们的算法在两个基准测试上超越了为相同目的设计的现有方法。我们解决方案的优越性能归因于其有效利用帧相机的标注数据并将所学知识迁移到事件视觉领域的能力。
引用
@article{arxiv.2401.01042,
title = {Relating Events and Frames Based on Self-Supervised Learning and Uncorrelated Conditioning for Unsupervised Domain Adaptation},
author = {Mohammad Rostami and Dayuan Jian and Ruitong Sun},
journal= {arXiv preprint arXiv:2401.01042},
year = {2025}
}