基于视频的类别无关动态物体重建
计算机视觉与模式识别
2021-12-06 v1 人工智能
图形学
机器学习
摘要
我们提出 REDO，一个从 RGBD 或标定视频中重建动态物体（REconstruct the Dynamic Objects）的类别无关框架。与先前工作相比，我们的问题设定更真实但也更具挑战性，原因有三：1）由于遮挡或相机设置，感兴趣物体可能从未完全可见，但我们旨在重建完整形状；2）我们旨在处理包括刚体运动、非刚体运动和关节运动在内的不同物体动态；3）我们旨在用统一框架重建不同类别的物体。为应对这些挑战，我们开发了两种新模块。首先，我们引入一个与时间聚合视觉线索像素对齐的规范 4D 隐式函数。其次，我们开发了捕捉物体动态以支持时间传播与聚合的 4D 变换模块。我们在合成 RGBD 视频数据集 SAIL-VOS 3D 和 DeformingThings4D++ 以及真实世界视频数据 3DPW 的大量实验中研究了 REDO 的有效性。我们发现 REDO 以一定优势优于 SOTA 动态重建方法。在消融研究中我们验证了每个开发的组件。
引用
@article{arxiv.2112.02091,
title = {Class-agnostic Reconstruction of Dynamic Objects from Videos},
author = {Zhongzheng Ren and Xiaoming Zhao and Alexander G. Schwing},
journal= {arXiv preprint arXiv:2112.02091},
year = {2021}
}
备注
NeurIPS 2021