自由度至关重要:从点轨迹推断动态
计算机视觉与模式识别
2024-06-07 v1 人工智能
摘要
理解通用3D场景的动态是计算机视觉中的根本挑战,对于增强场景重建、运动跟踪和虚拟角色创建等应用至关重要。本文将任务定义为推断3D点的密集长程运动。通过观察一组点轨迹,我们旨在学习一个由神经网络参数化的隐式运动场,以预测同一域内新点的运动,而不依赖任何数据驱动或场景特定的先验。为此,我们的方法建立在最近引入的动态点场模型上,该模型学习规范帧与各个观测帧之间的平滑变形场。然而,连续帧之间的时间一致性被忽略,并且由于逐帧建模,所需参数数量随序列长度线性增加。为了解决这些缺点,我们利用SIREN提供的内在正则化,并修改输入层以产生时空平滑的运动场。此外,我们分析了运动场雅可比矩阵,发现点周围无穷小区域内的运动自由度(DOFs)和网络隐藏变量对模型表示能力的影响不同。这使我们能够在保持模型紧凑性的同时提高模型表示能力。此外,为了降低过拟合风险,我们基于分段运动平滑性假设引入了一个正则化项。我们的实验评估了模型在预测未见点轨迹方面的性能,以及在时间网格对齐中的指导应用。结果证明了其优越性和有效性。代码和数据公开:\url{https://yz-cnsdqz.github.io/eigenmotion/DOMA/}
引用
@article{arxiv.2406.03625,
title = {Degrees of Freedom Matter: Inferring Dynamics from Point Trajectories},
author = {Yan Zhang and Sergey Prokudin and Marko Mihajlovic and Qianli Ma and Siyu Tang},
journal= {arXiv preprint arXiv:2406.03625},
year = {2024}
}
备注
cvpr24 post camera ready