多头 ReLU 隐式神经表示网络
机器学习
2022-02-28 v2 图像与视频处理
信号处理
摘要
本文提出了一种用于隐式神经表示（INR）的新型多头多层感知机（MLP）结构。由于传统的修正线性单元（ReLU）网络被证明对学习信号低频特征存在频谱偏置，我们旨在利用信号的局部结构来缓解这一缺陷。具体而言，使用一个 MLP 来捕获目标信号底层生成函数的全局特征。然后，利用多个头重建信号的不相交局部特征，并且为降低计算复杂度，采用稀疏层将头连接到主体网络。通过大量实验，我们表明所提模型不受传统 ReLU 网络特有偏置的影响，并具有优越的泛化能力。最后，仿真结果证实所提多头结构以显著更低的计算成本优于现有 INR 方法。
引用
@article{arxiv.2110.03448,
title = {Multi-Head ReLU Implicit Neural Representation Networks},
author = {Arya Aftab and Alireza Morsali},
journal= {arXiv preprint arXiv:2110.03448},
year = {2022}
}
备注
ICASSP 2022, 5 pages, 5 figures