LASR：从单目视频中学习关节化形状重建
计算机视觉与模式识别
2021-05-10 v1 图形学
摘要
从视频或图像集合重建刚性结构的3D形状已取得显著进展。然而，由于欠约束特性，从RGB输入重建非刚性结构仍具挑战。尽管基于模板的方法（如参数化形状模型）在建模已知物体类别的“封闭世界”方面取得巨大成功，但它们难以很好地处理新物体类别或离群形状的“开放世界”。本工作中，我们引入一种无模板方法，从单段视频学习3D形状。其采用分析-合成策略，前向渲染物体轮廓、光流与像素值并与视频观测比对，由此产生梯度以调整相机、形状与运动参数。在不使用特定类别形状模板的情况下，我们的方法能从人类、动物及未知类别物体的视频中忠实重建非刚性3D结构。代码将发布于lasr-google.github.io。
引用
@article{arxiv.2105.02976,
title = {LASR: Learning Articulated Shape Reconstruction from a Monocular Video},
author = {Gengshan Yang and Deqing Sun and Varun Jampani and Daniel Vlasic and Forrester Cole and Huiwen Chang and Deva Ramanan and William T. Freeman and Ce Liu},
journal= {arXiv preprint arXiv:2105.02976},
year = {2021}
}
备注
CVPR 2021. Project page: https://lasr-google.github.io/