用于深度学习的再现激活函数
机器学习
2021-02-23 v2 计算机视觉与模式识别
数值分析
数值分析
摘要
我们提出再现激活函数（RAFs）以提高深度学习在从计算机视觉到科学计算等多种应用中的精度。其思想是采用若干基本函数及其可学习的线性组合，为每个神经元构建神经元级数据驱动的激活函数。借助 RAFs，神经网络（NNs）能够再现传统逼近工具，因此相比传统 NNs 可用更少的参数逼近目标函数。在 NN 训练中，RAFs 能生成比传统激活函数具有更好条件数的神经正切核（NTKs），从而减轻深度学习中的谱偏差。如大量数值测试所示，所提出的 RAFs 能促进深度学习优化的收敛，获得比现有深度学习求解器在音频/图像/视频重建、偏微分方程（PDEs）和特征值问题中更高精度的解。使用 RAFs 后，音频/视频重建、PDEs 和特征值问题的误差相比基线分别降低超过 14%、73%、99%，而图像重建性能提升 58%。
引用
@article{arxiv.2101.04844,
title = {Reproducing Activation Function for Deep Learning},
author = {Senwei Liang and Liyao Lyu and Chunmei Wang and Haizhao Yang},
journal= {arXiv preprint arXiv:2101.04844},
year = {2021}
}