用于层次化3D点云嵌入的双曲对比学习
计算机视觉与模式识别
2025-01-08 v2 人工智能
摘要
双曲空间能够更有效地建模复杂的层次结构，这在涉及多模态数据的任务中尤其有益。尽管双曲几何已被证明在语言-图像预训练中有效，但其统一语言、图像和3D点云模态的能力尚未得到充分探索。我们将3D点云模态扩展到双曲多模态对比预训练中。此外，我们探索了蕴含、模态差距和对齐正则化器，用于学习层次化3D嵌入并促进从文本和图像模态的知识迁移。这些正则化器使得能够学习每个模态内的模态内层次以及跨文本、2D图像和3D点云的模态间层次。实验结果表明，我们提出的训练策略产生了出色的3D点云编码器，并且获得的3D点云层次化嵌入显著提升了各种下游任务的性能。
引用
@article{arxiv.2501.02285,
title = {Hyperbolic Contrastive Learning for Hierarchical 3D Point Cloud Embedding},
author = {Yingjie Liu and Pengyu Zhang and Ziyao He and Mingsong Chen and Xuan Tang and Xian Wei},
journal= {arXiv preprint arXiv:2501.02285},
year = {2025}
}