用于函数空间形状重建的 SE(3)-等变注意力网络
计算机视觉与模式识别
2023-02-13 v2 机器学习
摘要
我们提出一种从非定向点云进行 3D 形状重建的方法。我们的方法由一种新颖的 SE(3)-等变基于坐标的网络（TF-ONet）组成，该网络对形状的占据场进行参数化并尊重问题固有的对称性。与先前将输入对齐到规则网格的形状重建方法不同，我们直接在不规则点云上操作。我们的架构利用作用于局部 token 的等变注意力层。该机制实现了局部形状建模，这是可扩展到大型场景的关键属性。给定非定向、稀疏、带噪声的点云作为输入，我们为每个点生成等变特征。这些作为后续等变交叉注意力块的键和值，对占据场进行参数化。通过查询空间中的任意点，我们预测其占据分数。我们展示了我们的方法优于先前的 SO(3)-等变方法，以及在 SO(3)-增强数据集上训练的非等变方法。更重要的是，局部建模与 SE(3)-等变性共同为 SE(3) 场景重建创造了理想设定。我们展示了仅通过在单个对齐物体上训练且没有任何预分割，我们就能重建包含任意多个随机位姿物体的新颖场景而没有任何性能损失。
引用
@article{arxiv.2204.02394,
title = {SE(3)-Equivariant Attention Networks for Shape Reconstruction in Function Space},
author = {Evangelos Chatzipantazis and Stefanos Pertigkiozoglou and Edgar Dobriban and Kostas Daniilidis},
journal= {arXiv preprint arXiv:2204.02394},
year = {2023}
}