通过核带宽对正弦网络进行简单初始化与参数化
机器学习
2022-11-29 v1
摘要
具有正弦激活函数的神经网络已被提出作为具有传统激活函数网络的替代方案。尽管它们前景可期，特别是在学习隐式模型方面，其训练行为尚未被完全理解，导致一些经验性设计选择缺乏充分依据。在这项工作中，我们首先提出了此类正弦神经网络的简化版本，既便于实际实现，也利于理论分析。然后我们从神经正切核视角分析这些网络的行为，并证明其核近似于具有可调带宽的低通滤波器。最后，我们利用这些见解来指导正弦网络的初始化，针对一系列任务优化其性能，包括学习隐式模型与求解微分方程。
引用
@article{arxiv.2211.14503,
title = {Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth},
author = {Filipe de Avila Belbute-Peres and J. Zico Kolter},
journal= {arXiv preprint arXiv:2211.14503},
year = {2022}
}