通过坐标网络中的归一化技术以缓解谱偏差
计算机视觉与模式识别
2024-07-26 v1
摘要
使用坐标网络表示信号在最近的逆问题领域占主导地位，并广泛应用于各种科学计算任务。然而，坐标网络存在谱偏差的问题，这限制了学习高频分量的能力。这种问题是由坐标网络神经切贴核(NTK)特征值的病态分布所致。我们发现，使用经典归一化技术（批量归一化和层归一化）可改善这种病态分布，这些技术在卷积神经网络中常见，但在坐标网络中很少使用。我们证明了归一化技术在最大化和方差上显著降低了NTK特征值的值，同时略微修改了均值。由于最大特征值远大于其他值，方差的变化导致特征值分布从较低的分布转向较高的分布，因此可以缓解谱偏差。此外，我们提出了两种新的归一化技术，通过以不同方式组合这两种技术。通过将归一化基于坐标的网络应用于各种任务，包括图像压缩、CT重建、形状表示、磁性共振成像、新颖视图合成和多视图立体重建等，证明了这些归一化技术的有效性。
引用
@article{arxiv.2407.17834,
title = {Towards the Spectral bias Alleviation by Normalizations in Coordinate Networks},
author = {Zhicheng Cai and Hao Zhu and Qiu Shen and Xinran Wang and Xun Cao},
journal= {arXiv preprint arXiv:2407.17834},
year = {2024}
}