HexPlane:一种用于动态场景的快速表示
计算机视觉与模式识别
2023-03-28 v2
摘要
对动态 3D 场景建模并重新渲染是 3D 视觉中的一项挑战性任务。先前的方法构建于 NeRF 之上并依赖隐式表示。这很慢,因为它需要许多 MLP 评估,限制了现实世界应用。我们展示动态 3D 场景可以通过六个学习到的特征平面显式表示,从而得到一种我们称为 HexPlane 的优雅方案。HexPlane 通过融合从每个平面提取的向量来计算时空点的位置特征,这非常高效。将 HexPlane 与一个微小的 MLP 配对以回归输出颜色,并通过体渲染进行训练,在动态场景的新视角合成上给出了令人印象深刻的结果,匹配先前工作的图像质量,但将训练时间减少了超过 。大量消融实验证实了我们的 HexPlane 设计,并表明它对不同的特征融合机制、坐标系和解码机制都具有鲁棒性。HexPlane 是表示 4D 体的简单有效方案,我们希望它能广泛贡献于动态 3D 场景的时空建模。
引用
@article{arxiv.2301.09632,
title = {HexPlane: A Fast Representation for Dynamic Scenes},
author = {Ang Cao and Justin Johnson},
journal= {arXiv preprint arXiv:2301.09632},
year = {2023}
}
备注
CVPR 2023, Camera Ready Project page: https://caoang327.github.io/HexPlane