DaRePlane：用于动态场景重建的方向感知表示
计算机视觉与模式识别
2024-10-21 v1
摘要
众多近期方法用于建模和重渲染动态场景，依赖基于平面的显式表示，以解决神经辐射场（NeRF）和高斯溅射（GS）等模型的训练速度慢的问题。然而，仅将 4D 动态场景分解为多个 2D 平面基表示对于重现复杂运动场景的高保真渲染仍不够。为此，我们提出了 DaRePlane，一种 Novel direction-aware representation 方法，从六个不同方向捕获场景动态。该学习表示经逆向双树复小波变换（DTCWT）恢复平面基信息。在 NeRF 流程中，DaRePlane 为每个空间时间点计算特征，通过融合这些恢复平面中的向量，然后传递给微型 MLP 进行颜色回归。在高斯溅射中，DaRePlane 计算高斯点的特征，随后通过微型多头 MLP 进行空间时间变形预测。值得注意的是，为了解决六个实际方向和六个虚构方向感知小波系数引入的冗余问题，我们引入一种可训练的掩码方法，在不显著性能下降的情况下缓解存储问题。为展示 DaRePlane 在 NeRF 和 GS 系统中普遍性和效率，我们在常规和外科手术动态场景上进行测试。广泛的实验表明，DaRePlane 在各种复杂动态场景的新视角合成方面实现了最先进的性能。
引用
@article{arxiv.2410.14169,
title = {DaRePlane: Direction-aware Representations for Dynamic Scene Reconstruction},
author = {Ange Lou and Benjamin Planche and Zhongpai Gao and Yamin Li and Tianyu Luan and Hao Ding and Meng Zheng and Terrence Chen and Ziyan Wu and Jack Noble},
journal= {arXiv preprint arXiv:2410.14169},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2403.02265