ReLU足以学习隐式神经表示
图像与视频处理
2024-08-05 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
受益于对采用修正线性单元（ReLU）作为激活函数的神经网络的理论理解不断增长，我们重新审视了在学习隐式神经表示（INR）中使用ReLU激活函数的做法。灵感来自二次B样条小波，我们在深层神经网络（DNN）中每一层的ReLU神经元上引入一组简单约束，以补偿其谱偏差。由此实现了对各种INR任务的使用。经验上，我们证明了，与流行观点相反，仅由ReLU神经元构成的DNN完全可以学习出达到最先进水平的INR。此外，借助最近的理论工作，这些工作刻画了ReLU神经网络所学习函数的类型，我们提供了一种量化所学习函数正则性的方法。这为选择INR体系结构的超参数提供了原则方法。我们通过信号表示、超分辨率和计算机断层扫描等实验验证了我们的主张，展示了该方法的通用性和有效性。所有实验的代码可在https://github.com/joeshenouda/relu-inrs找到。
引用
@article{arxiv.2406.02529,
title = {ReLUs Are Sufficient for Learning Implicit Neural Representations},
author = {Joseph Shenouda and Yamin Zhou and Robert D. Nowak},
journal= {arXiv preprint arXiv:2406.02529},
year = {2024}
}
备注
Accepted to ICML 2024