NVFi：面向动态视频三维物理学习的神经速度场
计算机视觉与模式识别
2023-12-12 v1 人工智能
图形学
机器学习
机器人学
摘要
本文旨在从多视角视频中建模三维场景动力学。与现有大多数工作通常聚焦于训练时间段内的新视角合成这一常见任务不同，我们提出仅从视频帧中同时学习三维场景的几何、外观和物理速度，从而支持多种理想的应用，包括未来帧外推、无监督三维语义场景分解和动态运动迁移。我们的方法包含三个主要组成部分：1）关键帧动态辐射场，2）帧间速度场，以及3）一个联合关键帧与帧间优化模块，该模块是我们框架的核心，用于有效训练上述两个网络。为验证我们的方法，我们进一步引入了两个动态三维数据集：1）动态物体数据集，和2）动态室内场景数据集。我们在多个数据集上进行了广泛的实验，证明了我们的方法在所有基线方法上的优越性能，尤其是在未来帧外推和无监督三维语义场景分解等关键任务上。
引用
@article{arxiv.2312.06398,
title = {NVFi: Neural Velocity Fields for 3D Physics Learning from Dynamic Videos},
author = {Jinxi Li and Ziyang Song and Bo Yang},
journal= {arXiv preprint arXiv:2312.06398},
year = {2023}
}
备注
NeurIPS 2023. Code and data are available at: https://github.com/vLAR-group/NVFi