面向单目视频通用非刚性三维重建的根姿态分解
计算机视觉与模式识别
2023-08-22 v1
摘要
本研究聚焦于基于单目RGB视频序列的非刚性物体三维重建。具体而言，我们旨在为通用物体类别与随意拍摄的场景构建高保真模型。为此，我们不假设已知物体的根姿态，也不利用类别特定模板或稠密姿态先验。我们方法的核心思想——根姿态分解（RPD），是维护逐帧根姿态变换，同时构建带有局部变换的稠密场以校正根姿态。局部变换的优化通过向规范空间的点配准完成。我们还将RPD适配于含物体遮挡与个体差异的多物体场景。因此，RPD可对包含大形变、复杂运动模式、遮挡及不同个体尺度多样性的复杂场景进行非刚性三维重建。该流程有望扩展到野外多样物体集合。实验表明，RPD在具挑战性的DAVIS、OVIS和AMA数据集上超越了现有最优方法。
引用
@article{arxiv.2308.10089,
title = {Root Pose Decomposition Towards Generic Non-rigid 3D Reconstruction with Monocular Videos},
author = {Yikai Wang and Yinpeng Dong and Fuchun Sun and Xiao Yang},
journal= {arXiv preprint arXiv:2308.10089},
year = {2023}
}
备注
ICCV 2023. Project Page: https://rpd-share.github.io