基于掩码生成提取器的点云表示与3D生成协同学习
计算机视觉与模式识别
2024-08-16 v2 人工智能
摘要
表示学习和生成学习作为重建基方法，在 various 领域已展示出其潜在的相互强化潜力。在点云处理领域，虽然已有研究采用生成模型的训练策略来增强表征能力，但这些方法受限于无法真正生成3D形状。为了探索深度集成3D表征学习和生成学习的好处，我们提出一种创新框架，称为\textit{Point-MGE}。具体而言，该框架首先利用向量量化变分自编码器重建3D形状的神经场表示，从而学习点块的离散语义特征。随后，我们设计了一种滑动掩码比例以平滑从表征学习到生成学习的过渡。此外，我们的方法在学习高容量模型方面表现出强大的泛化能力，在多个下游任务上实现了新的最先进性能。在形状分类中，Point-MGE在ModelNet40数据集上实现了94.2%的准确率(+1.0%)，在ScanObjectNN数据集上实现了92.9%的准确率(+5.5%)。实验结果还确认，Point-MGE可以在无条件和条件设置下生成高质量的3D形状。
引用
@article{arxiv.2406.17342,
title = {Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds},
author = {Hongliang Zeng and Ping Zhang and Fang Li and Jiahua Wang and Tingyu Ye and Pengteng Guo},
journal= {arXiv preprint arXiv:2406.17342},
year = {2024}
}