基于核空间与值域空间的免梯度学习
机器学习
2018-10-30 v1 机器学习
摘要
在本文中，我们表明通过操作核空间与值域空间来求解线性方程组等价于求解最小二乘误差逼近问题。这为当系统可表示为线性矩阵方程形式时的免梯度学习搜索奠定了基础。当非线性激活函数可逆时，全连接多层前馈神经网络的学习问题可轻易适配于这一新颖学习框架。通过一系列核空间与值域空间操作，此类网络学习可归结为求解一组交叉耦合方程。在权重随机初始化后，方程可解耦，且该网络解对中小维度的真实世界数据集展现出相对良好的学习能力。基于矩阵方程的结构信息，网络表示被发现依赖于数据样本数量与输出维度。
引用
@article{arxiv.1810.11581,
title = {Gradient-Free Learning Based on the Kernel and the Range Space},
author = {Kar-Ann Toh and Zhiping Lin and Zhengguo Li and Beomseok Oh and Lei Sun},
journal= {arXiv preprint arXiv:1810.11581},
year = {2018}
}
备注
The idea of kernel and range projection was first introduced in the IEEE/ACIS ICIS conference which was held in Singapore in June 2018. This article presents a full development of the method supported by extensive numerical results