HDM-Net：基于学习形变模型的单目非刚性 3D 重建
计算机视觉与模式识别
2019-08-07 v2
摘要
可变形物体的单目密集 3D 重建是计算机视觉中一个困难的非适定问题。现有技术要么需要密集对应关系并依赖运动和形变线索，要么假设预先给定至少一帧的高精度重建（称为模板），并以非刚性跟踪的方式工作。密集点轨迹的精确计算通常需要多帧且可能计算成本高昂。模板的可用性是一个非常强的先验，它将系统操作限制在预定义的环境和场景中。在本工作中，我们提出了一种用于单目非刚性重建的混合方法，称为混合形变模型网络（HDM-Net）。在我们的方法中，形变模型由深度神经网络结合领域特定的损失函数学习得到。我们使用具有已知静止形状的非刚性形变结构的多种状态来训练该网络。HDM-Net 学习不同的重建线索，包括依赖纹理的表面形变、着色和轮廓。我们展示了 HDM-Net 对训练数据集中未出现的状态、未见过的纹理以及新光照条件下的泛化能力。对噪声数据的实验及与其他方法的比较证明了所提方法的鲁棒性和准确性，并表明该新技术在介入诊断和增强现实中的潜在应用场景。
引用
@article{arxiv.1803.10193,
title = {HDM-Net: Monocular Non-Rigid 3D Reconstruction with Learned Deformation Model},
author = {Vladislav Golyanik and Soshi Shimada and Kiran Varanasi and Didier Stricker},
journal= {arXiv preprint arXiv:1803.10193},
year = {2019}
}
备注
9 pages, 9 figures