用于无监督刚性分割与运动估计的多体 SE(3) 等变性
计算机视觉与模式识别
2023-11-01 v2 人工智能
机器学习
多媒体
摘要
一种真正可泛化的刚性分割与运动估计方法对于关节物体和移动场景的 3D 理解至关重要。鉴于分割与运动估计之间紧密交织的关系，我们提出了一种 SE(3) 等变架构和一种训练策略，以无监督方式解决该任务。我们的架构由两个互联的轻量级头组成。这些头使用点级不变特征预测分割掩码，并从 SE(3) 等变特征估计运动，均无需类别信息。我们的训练策略是统一的且可在线实现，其通过利用场景流、分割掩码和刚性变换之间的相互关系联合优化预测的分割和运动。我们在四个数据集上进行了实验以证明我们方法的优越性。结果表明，我们的方法在模型性能和计算效率上均表现出色，仅有 0.25M 参数和 0.92G FLOPs。据我们所知，这是首个针对动态点云中类别无关的部件级 SE(3) 等变性设计的工作。
引用
@article{arxiv.2306.05584,
title = {Multi-body SE(3) Equivariance for Unsupervised Rigid Segmentation and Motion Estimation},
author = {Jia-Xing Zhong and Ta-Ying Cheng and Yuhang He and Kai Lu and Kaichen Zhou and Andrew Markham and Niki Trigoni},
journal= {arXiv preprint arXiv:2306.05584},
year = {2023}
}
备注
To appear at NeurIPS 2023