深度局部连接 ReLU 网络的理论框架
机器学习
2018-10-01 v1 机器学习
摘要
尽管深度局部连接非线性网络（如深度卷积神经网络（DCNN））取得了经验上的成功，理解其理论性质仍是一个难题。本文中，我们针对带有 ReLU 非线性的此类网络提出一种新颖的理论框架。该框架显式地表述数据分布，倾向于解耦表示，并且与批归一化（Batch Norm）等常见正则化技术兼容。该框架建立在教师-学生设定之上，通过将学生的前向/反向传播展开到教师的计算图上而构建。所得模型不施加不切实际的假设（例如高斯输入、激活独立性等）。我们的框架可有助于促进对许多实际问题的理论分析，例如深度网络中的过拟合、泛化、解耦表示。
引用
@article{arxiv.1809.10829,
title = {A theoretical framework for deep locally connected ReLU network},
author = {Yuandong Tian},
journal= {arXiv preprint arXiv:1809.10829},
year = {2018}
}
备注
Submitted to ICLR 2019