Motion2VecSets：用于非刚性形状重建与跟踪的 4D 隐向量集扩散模型
计算机视觉与模式识别
2024-04-16 v2
摘要
我们引入了 Motion2VecSets，一个用于从点云序列进行动态表面重建的 4D 扩散模型。尽管现有的最先进方法在使用神经场表示重建非刚性物体方面取得了成功，但传统的前馈网络在面对来自噪声、部分或稀疏点云的模糊观测时遇到挑战。为解决这些挑战，我们引入了一个扩散模型，通过对压缩隐表示的迭代去噪过程，显式地学习非刚性物体的形状和运动分布。基于扩散的先验使得在处理模糊输入时能够进行更合理且概率化的重建。我们使用隐向量集而非全局隐编码来参数化 4D 动力学。这种新颖的 4D 表示使我们能够学习局部形状和变形模式，从而实现更精确的非线性运动捕捉，并显著提高对未见运动和身份的泛化能力。为了实现时间上更连贯的物体跟踪，我们同步地对变形隐向量集进行去噪，并在多帧之间交换信息。为避免计算开销，我们设计了一个交错时空注意力模块，以交替地在空间和时间维度上聚合变形隐向量。与最先进方法的广泛比较证明了我们的 Motion2VecSets 在从各种不完美观测进行 4D 重建方面的优越性。更多详细信息可参见 https://vveicao.github.io/projects/Motion2VecSets/。
引用
@article{arxiv.2401.06614,
title = {Motion2VecSets: 4D Latent Vector Set Diffusion for Non-rigid Shape Reconstruction and Tracking},
author = {Wei Cao and Chang Luo and Biao Zhang and Matthias Nießner and Jiapeng Tang},
journal= {arXiv preprint arXiv:2401.06614},
year = {2024}
}