从 2D 标注估计通用 3D 房间结构
计算机视觉与模式识别
2023-12-22 v2 图形学
摘要
室内房间是 3D 场景理解中最常见的应用场景之一。当前该任务的最先进方法由大型标注数据集驱动。房间布局尤为重要，其由墙、地板与天花板等 3D 结构元素组成。然而它们难以标注，尤其在纯 RGB 视频上。我们提出一种仅从 2D 分割掩码生成通用 3D 房间布局的新方法，这类掩码便于人工标注。基于这些 2D 标注，我们自动重建结构元素的 3D 平面方程及其在场景中的空间范围，并在适当的接触边缘连接相邻元素。我们在包含 YouTube 视频的 RealEstate10k 数据集上标注并公开发布了 2246 个 3D 房间布局。我们通过大量实验证明了这些 3D 布局标注的高质量。
引用
@article{arxiv.2306.09077,
title = {Estimating Generic 3D Room Structures from 2D Annotations},
author = {Denys Rozumnyi and Stefan Popov and Kevis-Kokitsi Maninis and Matthias Nießner and Vittorio Ferrari},
journal= {arXiv preprint arXiv:2306.09077},
year = {2023}
}
备注
https://github.com/google-research/cad-estate Accepted at 37th Conference on Neural Information Processing Systems (NeurIPS 2023) Track on Datasets and Benchmarks