FAWN：基于楼层与墙面法向正则化的直接神经TSDF重建
计算机视觉与模式识别
2024-06-19 v1 机器学习
摘要
利用3D语义进行直接3D重建具有巨大的潜力，却尚未得到充分发挥。例如，通过假设墙面垂直、地面平行水平，我们可以纠正扭曲的房间形状，并消除孔洞、坑洼和山丘等局部制件。在本文中，我们提出了FAWN（Floor-And-Walls Normal Regularization），这是一种对截断距离函数（TSDF）重建方法的修改，考虑场景结构，通过检测场景中的墙面和地面，对相应的表面法向进行正则化，使其偏离水平和垂直方向。作为一种3D稀疏卷积模块，FAWN可以被集成到任何预测TSDF的可训练管道中。由于FAWN仅在训练阶段需要3D语义，进一步使用不受任何额外限制。我们证明，FAWN修改后的方法在利用语义方面更有效，优于现有的基于语义的方法。此外，我们将该修改应用于先进的TSDF重建方法，证明在SCANNET、ICL-NUIM、TUM RGB-D和7SCENES基准测试中均取得质量提升。
引用
@article{arxiv.2406.12054,
title = {FAWN: Floor-And-Walls Normal Regularization for Direct Neural TSDF Reconstruction},
author = {Anna Sokolova and Anna Vorontsova and Bulat Gabdullin and Alexander Limonov},
journal= {arXiv preprint arXiv:2406.12054},
year = {2024}
}