MRIo3DS-Net：面向室内3D重建的互相强化图像到3D表面RNN-like框架
计算机视觉与模式识别
2024-07-17 v1
摘要
本文首次提出一种面向室内3D重建的互相强化图像到3D表面类RNN框架，MRIo3DS-Net，其特点在于，多视角稠密匹配与点云表面优化通过一种类RNN结构相互强化，而非被视为独立问题。在多视角稠密匹配模块中，采用模型适应策略对基于Transformer的多视角稠密匹配深度神经网络进行精细调优，以提升其匹配和细节表达能力；在点云表面优化模块中，采用模型适应策略优化基于3D隐式场的3D表面重建网络，解决了点云表面优化无需已知3D表面法向量的问题。为更好地从点云细致重建3D表面，本文提出并加入平滑损失。MRIo3DS-Net是一种类RNN框架，利用PCSOM获得的精细优化3D表面，递归强化基于MVDMM的可微分变形，以优化多视角稠密匹配。这种细化实现了更好的稠密匹配结果，更好的稠密匹配结果又导致更好的3D表面结果的递归。因此，模型适应策略能更好地协作两个网络模块之间的差异，使其相互补充以获得更佳效果；为加速从源域到目标域的迁移学习和训练收敛，采用基于贝叶斯不确定性的多任务损失函数，自适应调整MVDMM和PCSOM两个网络损失函数之间的权重。在该多任务级联网络框架中，任何模块都可以被任何最先进的网络替换，以获得更好的3D重建效果。
关键词
引用
@article{arxiv.2407.11431,
title = {MRIo3DS-Net: A Mutually Reinforcing Images to 3D Surface RNN-like framework for model-adaptation indoor 3D reconstruction},
author = {Chang Li and Jiao Guo and Yufei Zhao and Yongjun Zhang},
journal= {arXiv preprint arXiv:2407.11431},
year = {2024}
}