Windowed-FourierMixer：利用傅里叶变换增强无杂乱房间建模
计算机视觉与模式识别
2024-02-29 v1
摘要
随着沉浸式数字应用需求的增长，理解和重建 3D 场景的需求显著增加。在此背景下，从单张图像对室内环境进行修复 (inpainting) 在建模内部空间结构方面发挥着至关重要的作用，因为它能够创建带有纹理且无杂乱的 реконструкции。虽然最近的方法在房间建模方面取得了显著进展，但它们依赖于约束布局估计器来指导重建过程。这些方法高度依赖于结构估计器的性能及其在严重遮挡环境中的生成能力。针对这些问题，我们提出了一种基于 U-Former 架构和新型 Windowed-FourierMixer 模块的创新方法， resulting in a unified, single-phase network capable of effectively handle human-made periodic structures such as indoor spaces. 这种新架构证明了其在涉及室内场景的任务中的优势，其中对称性普遍存在，使模型能够有效捕捉地平线/天花板高度线和立方体形状的房间等特征。实验表明，所提出的方法在 Structured3D 数据集上优于当前的最先进 (state-of-the-art) 方法，在定量指标和定性结果方面均表现出卓越的性能。代码和模型将公开提供。
引用
@article{arxiv.2402.18287,
title = {Windowed-FourierMixer: Enhancing Clutter-Free Room Modeling with Fourier Transform},
author = {Bruno Henriques and Benjamin Allaert and Jean-Philippe Vandeborre},
journal= {arXiv preprint arXiv:2402.18287},
year = {2024}
}