AlphaTablets：一种用于单目视频中 3D 平面重建的通用平面表示方法
计算机视觉与模式识别
2024-12-02 v1 机器学习
摘要
我们提出了 AlphaTablets，这是一种新型且通用的 3D 平面表示方法，具有连续的 3D 表面和精确的边界描绘能力。通过将 3D 平面表示为具有 α 通道的矩形，AlphaTablets 融合了当前 2D 和 3D 平面表示的优势，实现了对 3D 平面的准确、一致且灵活的建模。我们在 AlphaTablets 上推导了可微分的光栅化方法，高效地将 3D 平面渲染到图像中，并提出了一种新颖的自下而上视频单目 3D 平面重建管线。该管线以 2D 超像素和预训练模型的几何线索为起点，将 3D 平面初始化为 AlphaTablets 并通过可微分渲染进行优化。引入有效的合并方案以促进 AlphaTablets 的生长和细化。通过迭代优化和合并，我们重建出具有实心表面和清晰边界的完整且准确的 3D 平面。在 ScanNet 数据集上的大量实验表明，AlphaTablets 在 3D 平面重建方面实现了最先进的性能，凸显了其作为各种应用中通用 3D 平面表示的巨大潜力。项目页面可访问：https://hyzcluster.github.io/alphatablets
引用
@article{arxiv.2411.19950,
title = {AlphaTablets: A Generic Plane Representation for 3D Planar Reconstruction from Monocular Videos},
author = {Yuze He and Wang Zhao and Shaohui Liu and Yubin Hu and Yushi Bai and Yu-Hui Wen and Yong-Jin Liu},
journal= {arXiv preprint arXiv:2411.19950},
year = {2024}
}
备注
NeurIPS 2024