ResFields：用于时空信号的残差神经场
计算机视觉与模式识别
2024-02-13 v5
摘要
神经场是一类通过训练来表示高频信号的神经网络，近年来因其在通过单一多层感知机（MLP）建模复杂数据（如有符号距离函数（SDFs）或辐射场（NeRFs））方面的出色表现而备受关注。然而，尽管使用 MLP 表示信号具有强大的能力和简单性，但由于 MLP 容量有限，这些方法在建模大型复杂时空信号时仍面临挑战。在本文中，我们提出了一种有效的方法来解决这一局限性，即将时间残差层引入神经场，我们将其称为 ResFields。这是一类专门设计用于有效表示复杂时间信号的新型网络。我们对 ResFields 的属性进行了全面分析，并提出了一种矩阵分解技术来减少可训练参数数量并增强泛化能力。重要的是，我们的公式与现有的基于 MLP 的神经场无缝集成，并在各种具有挑战性的任务中持续改进结果：2D 视频逼近、通过时间 SDFs 的动态形状建模以及动态 NeRF 重建。最后，我们展示了 ResFields 的实际效用，展示了其在从轻量级采集系统的稀疏 RGBD 相机中捕捉动态 3D 场景方面的有效性。
引用
@article{arxiv.2309.03160,
title = {ResFields: Residual Neural Fields for Spatiotemporal Signals},
author = {Marko Mihajlovic and Sergey Prokudin and Marc Pollefeys and Siyu Tang},
journal= {arXiv preprint arXiv:2309.03160},
year = {2024}
}
备注
[ICLR 2024 Spotlight] Project and code at: https://markomih.github.io/ResFields/