CrossVideo:用于点云视频理解的自监督跨模态对比学习
计算机视觉与模式识别
2024-01-30 v1
摘要
本文介绍了一种名为 CrossVideo 的新方法,旨在增强点云视频理解领域中的自监督跨模态对比学习。传统的监督学习方法因数据稀缺和标签获取困难而遇到限制。为了解决这些问题,我们提出了一种自监督学习方法,利用点云视频和图像视频之间的跨模态关系来获取有意义的特征表示。我们采用了模态内和跨模态对比学习技术,以促进对点云视频的有效理解。我们还为两种模态提出了一种多级对比方法。通过大量实验,我们证明我们的方法显著超越了以往最先进的方法,并进行了全面的消融研究以验证我们所提出设计的有效性。
引用
@article{arxiv.2401.09057,
title = {CrossVideo: Self-supervised Cross-modal Contrastive Learning for Point Cloud Video Understanding},
author = {Yunze Liu and Changxi Chen and Zifan Wang and Li Yi},
journal= {arXiv preprint arXiv:2401.09057},
year = {2024}
}