PILAE：一种用于深度前馈神经网络的非梯度下降学习方案
机器学习
2021-08-25 v3 人工智能
机器学习
摘要
在这项工作中，提出了一种用于深度前馈神经网络（DNN）的非梯度下降学习（NGDL）方案。已知自编码器可用作多层感知机（MLP）DNN的构建模块，本文以MLP为例阐述所提出的自编码器伪逆学习算法（PILAE）方案。具有低秩近似的PILAE是一种NGDL算法，其编码器权重矩阵设为输入矩阵伪逆的低秩近似，而解码器权重矩阵由伪逆学习算法计算。值得注意的是，与经典梯度下降学习算法相比，仅需调优极少数的网络结构超参数。因此，所提算法可视为一种准自动化训练算法，可用于自动化机器学习领域。实验结果表明，所提出的DNN学习方案在权衡训练效率与分类精度方面能取得更好的性能。
引用
@article{arxiv.1811.01545,
title = {PILAE: A Non-gradient Descent Learning Scheme for Deep Feedforward Neural Networks},
author = {P. Guo and K. Wang and X. L. Zhou},
journal= {arXiv preprint arXiv:1811.01545},
year = {2021}
}
备注
This work is our effort toward to realize AutoML