NEAT：从神经吸引场蒸馏三维线框
计算机视觉与模式识别
2024-04-04 v2 图形学
摘要
本文研究利用由线段与节点构成的线框进行结构化三维重建的问题，聚焦于场景结构化边界几何的计算。与以往从二维线框（或线段）出发通过匹配方案实现三维线框重建不同，我们提出 NEAT，一种使用神经场以二维观测表示三维线段、并通过二分匹配感知与蒸馏稀疏三维全局节点的渲染-蒸馏形式。所提 NEAT 可从零开始联合优化神经场与全局节点，利用视角相关的二维观测而无需预计算跨视角特征匹配。在 DTU 与 BlendedMVS 数据集上的综合实验表明，我们的 NEAT 在三维线框重建上优于最先进的替代方法。此外，NEAT 蒸馏出的三维全局节点作为初始化优于 SfM 点，可用于近期涌现的三维高斯泼溅（3D Gaussian Splatting）高保真新视角合成，初始三维点数量约为其 1/20。项目页面：\url{https://xuenan.net/neat}。
引用
@article{arxiv.2307.10206,
title = {NEAT: Distilling 3D Wireframes from Neural Attraction Fields},
author = {Nan Xue and Bin Tan and Yuxi Xiao and Liang Dong and Gui-Song Xia and Tianfu Wu and Yujun Shen},
journal= {arXiv preprint arXiv:2307.10206},
year = {2024}
}
备注
CVPR 2024