基于神经 ODE 学习 4D 捕获的组合式表示
计算机视觉与模式识别
2021-04-21 v2
摘要
基于学习的表示已成为许多计算机视觉系统成功的关键。尽管已提出许多 3D 表示，如何表示一个动态变化的 3D 对象仍是一个未解决的问题。本文中，我们引入一种用于 4D 捕获（即时间跨度上形变的 3D 对象）的组合式表示，其分别解耦形状、初始状态与运动。每个组件由经训练编码器的潜码表示。为建模运动，训练一个神经常微分方程(ODE)以基于学习的运动码更新初始状态，解码器取形状码与更新后的状态码重建各时间步的 3D 模型。为此，我们提出身份交换训练(IET)策略以鼓励网络有效解耦各组件。大量实验表明，所提方法在 4D 重建上优于现有最先进的基于深度学习的方法，并显著改进了包括运动迁移与补全在内的多种任务。
引用
@article{arxiv.2103.08271,
title = {Learning Compositional Representation for 4D Captures with Neural ODE},
author = {Boyan Jiang and Yinda Zhang and Xingkui Wei and Xiangyang Xue and Yanwei Fu},
journal= {arXiv preprint arXiv:2103.08271},
year = {2021}
}
备注
Accepted by CVPR2021. Project webpage with video and code: https://boyanjiang.github.io/4D-CR/