AdaPoinTr：基于自适应几何感知 Transformer 的多样化点云补全
摘要
在本文中，我们提出一种将 point cloud completion（点云补全）重新表述为集合到集合翻译问题的新方法，并设计了一个名为 PoinTr 的新模型，其采用 Transformer 编码器-解码器架构进行点云补全。通过将点云表示为带有位置嵌入的无序点组集合，我们将输入数据转换为点代理序列，并利用 Transformers 进行生成。为了帮助 Transformers 更好地利用关于点云三维几何结构的归纳偏置，我们进一步设计了一个显式建模局部几何关系的几何感知块。Transformers 的引入使我们的模型能够更好地学习结构知识并保留点云补全的细粒度信息。朝着更复杂和多样化的情况迈进，我们进一步通过开发自适应查询生成机制并在点云补全过程中设计一种新的去噪任务，提出了 AdaPoinTr。结合这两种技术使我们能够高效且有效地训练模型：我们减少了训练时间（15 倍或更多）并提升了补全性能（超过 20%）。我们还展示了我们的方法可通过设计一种新的几何增强语义场景补全框架扩展到场景级点云补全场景。在现有和新提出的数据集上的大量实验证明了我们方法的有效性，其在 PCN 上达到 6.53 CD，在 ShapeNet-55 上达到 0.81 CD，在真实世界 KITTI 上达到 0.392 MMD，大幅超越其他工作，并在各种基准上确立了新的 state-of-the-arts（SOTA，最优性能）。最值得注意的是，与先前最佳方法相比，AdaPoinTr 在实践中以更高的吞吐量和更少的 FLOPs 实现了如此有前景的性能。代码和数据集可在 https://github.com/yuxumin/PoinTr 获取。
引用
@article{arxiv.2301.04545,
title = {AdaPoinTr: Diverse Point Cloud Completion with Adaptive Geometry-Aware Transformers},
author = {Xumin Yu and Yongming Rao and Ziyi Wang and Jiwen Lu and Jie Zhou},
journal= {arXiv preprint arXiv:2301.04545},
year = {2023}
}
备注
Extension of our ICCV 2021 work: arXiv:2108.08839 . Code is available at https://github.com/yuxumin/PoinTr