贪婪浅层网络：一种构建与训练神经网络的方法
机器学习
2021-10-01 v3 机器学习
摘要
我们提出一种基于贪婪策略的方法来构建具有 ReLU 激活函数、可逼近目标函数的高效单隐藏层神经网络。在我们的方法中，利用贪婪算法并结合由可用训练数据与一组可能的内权值所提供的预设字典，获得浅层网络。为促进贪婪选择过程，我们采用基于脊波变换的网络积分表示，其显著降低了字典的基数，从而提升贪婪选择的可行性。我们的方法允许构建高效架构，这些架构既可作为替代随机初始化方案的改进初始化使用，在某些情况下也可作为完全训练好的网络，从而可能消除反向传播训练的需要。数值实验证明了所提概念的可行性及其相较于传统神经网络架构与初始化选择技术的优势。
引用
@article{arxiv.1905.10409,
title = {Greedy Shallow Networks: An Approach for Constructing and Training Neural Networks},
author = {Anton Dereventsov and Armenak Petrosyan and Clayton Webster},
journal= {arXiv preprint arXiv:1905.10409},
year = {2021}
}