用于隐式神经表示中谱偏差的归纳梯度调整
计算机视觉与模式识别
2025-05-27 v2 机器学习
摘要
隐式神经表示（INR）作为一种灵活的表示范式，在计算机视觉任务中取得了成功。由于基础多层感知器（MLP）的谱偏差，现有方法专注于设计具有复杂结构的MLP或复用训练技术以实现高度准确的INR。本文深入研究了MLP的线性动力学模型，理论上确定经验神经切向核（eNTK）矩阵作为谱偏差与训练动力学之间可靠联系的桥梁。基于这一洞察，我们提出一种实用的归纳梯度调整（IGA）方法，通过归纳泛化eNTK基于梯度的转换矩阵，目的在于有针对性地改进谱偏差。理论和实证分析验证了IGA对谱偏差的影响。进一步，我们在不同的INR任务上评估了该方法，并与现有训练技术进行比较。优异且一致的改进明确验证了IGA的优势。凭借我们的梯度调整方法，可通过对谱偏差施加量身定制的影响，从数据中学习出更好的INR，具有更丰富的纹理细节和更锐利的边缘。
引用
@article{arxiv.2410.13271,
title = {Inductive Gradient Adjustment For Spectral Bias In Implicit Neural Representations},
author = {Kexuan Shi and Hai Chen and Leheng Zhang and Shuhang Gu},
journal= {arXiv preprint arXiv:2410.13271},
year = {2025}
}
备注
Accepted to ICML 2025. Code available at https://github.com/LabShuHangGU/IGA-INR