从深到浅：再生核 Krein 空间与不定支持向量机中深度网络的等价形式
机器学习
2020-09-09 v2 机器学习
摘要
本文探讨了深度网络与再生核 Krein 空间学习之间的联系。我们的方法基于前推（push-forward）概念——即对线性投影施加固定的非线性变换，并将其转换为在固定非线性变换输出上的线性投影，将权重通过该非线性向前推送。从深度网络的输入到输出重复应用此过程，权重可逐步“推送”至输出层，得到一个扁平网络，其形式为固定非线性映射（其形式由深度网络结构决定）后接由权重矩阵决定的线性投影——即我们将深度网络转换为一个等价的不定核机器。随后我们研究了该变换对容量控制与一致收敛的影响，并给出了深度网络在再生核 Krein 空间中 Rademacher 复杂度的 Rademacher 复杂度界。最后，我们分析了扁平表示的稀疏性性质，表明扁平权重被（有效地）以 0<p<1 的 Lp“范数”正则化（桥回归）。
引用
@article{arxiv.2007.07459,
title = {From deep to Shallow: Equivalent Forms of Deep Networks in Reproducing Kernel Krein Space and Indefinite Support Vector Machines},
author = {Alistair Shilton and Sunil Gupta and Santu Rana and Svetha Venkatesh},
journal= {arXiv preprint arXiv:2007.07459},
year = {2020}
}