DeepDeform：利用半监督数据学习非刚性RGB-D重建
计算机视觉与模式识别
2020-06-23 v2 人工智能
图形学
摘要
将数据驱动方法应用于非刚性3D重建一直十分困难，我们认为这可归因于缺乏大规模训练语料。遗憾的是，该方法在诸如高度非刚性变形等重要情况下会失效。我们首先通过引入一种新颖的半监督策略来解决数据缺乏问题，该策略从稀疏标注集中获取稠密帧间对应关系。以此方式，我们获得了一个包含400个场景、超过390,000帧RGB-D图像和5,533对稠密对齐帧的大规模数据集；此外，我们提供了一个测试集以及若干评估指标。基于该语料，我们提出了一种数据驱动的非刚性特征匹配方法，并将其集成到基于优化的重建流程中。在此，我们提出一种在RGB-D帧上运行的新神经网络，同时在大幅非刚性变形下保持鲁棒性并给出准确预测。我们的方法显著优于不使用学习数据项已有的非刚性重建方法，以及仅使用自监督的基于学习的方法。
引用
@article{arxiv.1912.04302,
title = {DeepDeform: Learning Non-rigid RGB-D Reconstruction with Semi-supervised Data},
author = {Aljaž Božič and Michael Zollhöfer and Christian Theobalt and Matthias Nießner},
journal= {arXiv preprint arXiv:1912.04302},
year = {2020}
}
备注
Video: https://youtu.be/OrHLacCDZVQ