4DComplete：可观测表面之外的非刚性运动估计
计算机视觉与模式识别
2021-05-06 v1
摘要
利用深度传感器跟踪非刚性形变场景在计算机视觉、AR/VR和机器人等领域有众多应用。然而，由于遮挡和深度传感器的物理限制，现有方法仅处理可见表面，从而导致运动场中的不连续与不完整。为此，我们提出4DComplete，一种新颖的数据驱动方法，用于估计未观测几何的非刚性运动。4DComplete以部分形状与运动观测为输入，提取4D时空嵌入，并使用稀疏全卷积网络联合推断缺失几何与运动场。为网络训练，我们构建了名为DeformingThings4D的大规模合成数据集，包含1972段动画序列，涵盖31个不同动物或人形类别并带有密集4D标注。实验表明，4DComplete 1）从部分观测重建高分辨率体素形状与运动场，2）学习有益于形状与运动估计的纠缠4D特征表示，3）比如尽可能刚性（As-Rigid-As-Possible, ARAP）形变等经典非刚性先验产生更准确自然的形变，4）对真实世界序列中未见物体具有良好泛化性。
引用
@article{arxiv.2105.01905,
title = {4DComplete: Non-Rigid Motion Estimation Beyond the Observable Surface},
author = {Yang Li and Hikari Takehara and Takafumi Taketomi and Bo Zheng and Matthias Nießner},
journal= {arXiv preprint arXiv:2105.01905},
year = {2021}
}
备注
Data: https://github.com/rabbityl/DeformingThings4D