从森林与哈尔小波视角解读深度学习
机器学习
2019-12-09 v7 数值分析
数值分析
机器学习
摘要
本文给出了 ReLU（修正线性单元）深度学习在逐层添加新层时区域划分的一个基本性质，并由此给出解读深度学习的两种新视角。其一是与决策树和森林相关：我们构造了一种在分类能力上等价于森林的深度学习结构，这意味着某些种类的 ReLU 深度学习可被视为森林。其二是哈尔小波表示的函数可被 ReLU 深度学习以任意精度逼近；进而给出关于 ReLU 深度学习函数逼近能力的一般性结论。最后，将 ReLU 深度学习的若干结论推广到 sigmoid 单元深度学习的情形。
引用
@article{arxiv.1906.06706,
title = {Interpretations of Deep Learning by Forests and Haar Wavelets},
author = {Changcun Huang},
journal= {arXiv preprint arXiv:1906.06706},
year = {2019}
}
备注
v2:Lemma 4 rectified; v3-v6:details refined and typos corrected; v7:descriptions revised