面向神经场的 coordinate-aware 调制
计算机视觉与模式识别
2023-11-28 v1
摘要
神经场将低维输入坐标映射到相应信号，在表示各种信号方面已展现出有前景的结果。已有众多方法被提出，采用MLP和网格表示的技术取得了实质性成功。MLP允许紧凑且高表达性，但常受频谱偏置和收敛速度慢的困扰。另一方面，使用网格的方法不受频谱偏置影响并实现快速训练速度，然而以高空间复杂度为代价。在本工作中，我们提出了一种在神经场中利用MLP和网格表示的新方式。与先序组合它们的主流方法(先从网格提取特征再送入MLP)不同，我们将无频谱偏置的网格表示注入MLP的中间特征中。更具体地，我们提出一种Coordinate-Aware Modulation (CAM，坐标感知调制)，其使用从网格表示中提取的缩放和偏移参数来调制中间特征。这能在保持MLP优势的同时缓解任何剩余的潜在偏置，促进高频分量的快速学习。此外，我们经验性地发现，在神经场文献中尚未成功的特征归一化，在与所提CAM结合应用时被证明是有效的。实验结果表明，CAM增强了神经表示的性能并改善了跨一系列信号的学习稳定性。尤其在新视角合成任务中，我们以最少参数量和快速训练速度在动态场景上实现了SOTA性能，并在1MB内存下于静态场景取得最佳性能。CAM还大幅优于使用神经场的最佳视频压缩方法。
引用
@article{arxiv.2311.14993,
title = {Coordinate-Aware Modulation for Neural Fields},
author = {Joo Chan Lee and Daniel Rho and Seungtae Nam and Jong Hwan Ko and Eunbyung Park},
journal= {arXiv preprint arXiv:2311.14993},
year = {2023}
}
备注
Project page: http://maincold2.github.io/cam/