从单视图图像进行无监督严重变形网格重建（DMR）
计算机视觉与模式识别
2022-01-25 v1
摘要
在从多视图图像或视频监督学习刚性物体 3D 重建方面已取得诸多进展。然而，以无监督方式从单视图 RGB 图像重建严重变形物体更具挑战性。尽管基于训练的方法（如特定类别级训练）已成功从单视图图像重建刚性物体和鸟类等轻微变形物体，但它们无法有效处理严重变形物体，并且由于顶点的语义含义不一致（在定义待重建物体的采用 3D 模板时至关重要），也无法应用于现实中的某些下游任务。在本工作中，我们引入一种基于模板的方法，从单视图图像推断 3D 形状，并将重建的网格应用于下游任务，即绝对长度测量。在不使用 3D 真值的情况下，我们的方法忠实重建 3D 网格，并在严重变形鱼数据集的长度测量任务上达到当前最优精度。
引用
@article{arxiv.2201.09373,
title = {Unsupervised Severely Deformed Mesh Reconstruction (DMR) from a Single-View Image},
author = {Jie Mei and Jingxi Yu and Suzanne Romain and Craig Rose and Kelsey Magrane and Graeme LeeSon and Jenq-Neng Hwang},
journal= {arXiv preprint arXiv:2201.09373},
year = {2022}
}
备注
Under Review