深度神经网络中层的角色：高斯过程视角
机器学习
2019-06-14 v3 无序系统与神经网络
人工智能
机器学习
摘要
深度学习中的一个基本问题涉及深度神经网络(DNN)中单个层所扮演的角色及其所学习的数据表示的可迁移特性。就层具有明确角色而言，应当能够使用逐层损失函数分别优化它们。此类损失函数将描述网络每一深度处良好数据表示的集合，并为逐层贪心优化(LEGO)提供目标。在此我们推导出高斯过程与SGD训练的深度神经网络之间的一种新对应关係。利用该对应关係，我们推导出深度高斯逐层损失函数(DGLs)，我们相信这是首批既显式又在精度上具有竞争力的监督式逐层损失函数。DGLs具有高度结构化和对称性，为理解DNN生成的内部表示提供了一条有前景的分析途径。
引用
@article{arxiv.1902.02354,
title = {The role of a layer in deep neural networks: a Gaussian Process perspective},
author = {Oded Ben-David and Zohar Ringel},
journal= {arXiv preprint arXiv:1902.02354},
year = {2019}
}