非刚性结构从运动：时空平滑 Procrustean 对齐与空间变形建模
计算机视觉与模式识别
2025-03-05 v3 人工智能
摘要
尽管非刚性结构从运动（NRSfM）已被广泛研究并取得了显著进展，但仍存在一些关键挑战限制其在实际中的应用：1）运动/旋转模糊性要求或通过额外约束显式恢复相机运动或复杂的 Procrustean 对齐；2）现有的全局形状低秩建模会对 3D 形状序列中的剧烈变形过度惩罚。本文从时空建模角度解决上述问题。首先，我们提出了一种新的时序平滑 Procrustean 对齐模块，用于估计 3D 变形形状并通过连续对齐 3D 形状序列来调整相机运动。我们的新对齐模块消除了对复杂参考 3D 形状的需求，这更有利于非各向同性变形建模。其次，我们提出一种空间加权方法，以适应性方式强制执行低秩约束，以更好地适应空间变形重建。我们的建模优于基于低秩的方法，广泛的实验在不同数据集上验证了我们方法的有效性。
引用
@article{arxiv.2405.04309,
title = {Non-rigid Structure-from-Motion: Temporally-smooth Procrustean Alignment and Spatially-variant Deformation Modeling},
author = {Jiawei Shi and Hui Deng and Yuchao Dai},
journal= {arXiv preprint arXiv:2405.04309},
year = {2025}
}
备注
Accepted by CVPR 2024; The new version adds additional experiments and corrects typos