DmifNet：基于动态多分支信息融合的三维形状重建
计算机视觉与模式识别
2020-11-24 v1
摘要
从单视图图像进行三维物体重建是一个长期存在的挑战性问题。以往工作难以准确重建具有复杂拓扑结构且在边缘和角落处富含细节的三维形状。此外，以往工作使用合成数据训练其网络，但在真实数据上测试时出现了域适应问题。本文提出一种动态多分支信息融合网络（DmifNet），可从二维图像恢复任意拓扑结构的高保真三维形状。具体而言，我们从中间层设计若干侧分支，使网络产生更多样化的表示，从而提升网络的泛化能力。此外，我们利用DoG（Difference of Gaussians，高斯差分）从输入图像中提取边缘几何与角落信息。然后，我们使用一个独立的侧分支网络处理所提取的数据，以更好地捕获边缘几何与角落特征信息。最后，我们动态融合所有分支的信息以获得最终预测概率。在大规模公开数据集上的大量定性与定量实验证明了我们方法的有效性与高效性。代码与模型已公开于 https://github.com/leilimaster/DmifNet。
引用
@article{arxiv.2011.10776,
title = {DmifNet:3D Shape Reconstruction Based on Dynamic Multi-Branch Information Fusion},
author = {Lei Li and Suping Wu},
journal= {arXiv preprint arXiv:2011.10776},
year = {2020}
}
备注
ICPR 2020 (Oral)