MoCo-Flow：面向固定单目相机中动态人体的神经运动一致性流
计算机视觉与模式识别
2022-02-08 v2
摘要
从固定单目相机合成动态人体的新视角是一个专门但令人向往的设置。这尤其具有吸引力，因为它不需要静态场景、受控环境或专门的采集硬件。与利用多视角观测的技术相比，从单视角对动态场景建模的问题明显更欠约束且不适定。在本文中，我们引入神经运动一致性流(MoCo-Flow)，一种使用4D连续时变函数对固定单目相机中的动态人体进行建模的表示。我们通过优化一个在所有观测图像上最小化总渲染误差的动态场景来学习所提出的表示。我们工作的核心是一个精心设计的优化方案，其包含一个专门的初始化步骤，并受所估计运动流上的运动一致性正则化约束。我们在包含不同复杂度人体运动的多个数据集上广泛评估了MoCo-Flow，并从定性和定量两方面与若干基线及我们方法的消融变体进行比较，展示了所提方法的有效性与优点。预训练模型、代码和数据将在论文接收后发布以供研究使用。
引用
@article{arxiv.2106.04477,
title = {MoCo-Flow: Neural Motion Consensus Flow for Dynamic Humans in Stationary Monocular Cameras},
author = {Xuelin Chen and Weiyu Li and Daniel Cohen-Or and Niloy J. Mitra and Baoquan Chen},
journal= {arXiv preprint arXiv:2106.04477},
year = {2022}
}