群不变性、形变稳定性与深度卷积表示的复杂度
机器学习
2019-02-14 v4 机器学习
摘要
深度卷积架构的成功通常部分归功于其学习自然信号多尺度和不变表示的能力。然而，对这些性质及其如何影响学习保证的精确研究仍然缺失。在本文中，我们考虑信号的深度卷积表示；我们研究它们对平移以及更一般的变换群的不变性，它们对微分同胚作用的稳定性，以及它们保留信号信息的能力。该分析通过引入基于卷积核网络的多层核并研究核映射诱导的几何结构来进行。然后我们刻画了相应的再生核 Hilbert 空间（RKHS），表明它包含一大类具有齐次激活函数的卷积神经网络。该分析允许我们将数据表示与学习分离，并提供模型复杂度的规范度量，即 RKHS 范数，它控制任何学习模型的稳定性和泛化能力。除了构造的 RKHS 中的模型外，我们的稳定性分析也适用于具有一般激活（如修正线性单元）的卷积网络，并且我们讨论了它与最近基于谱范数的泛化界的关系。
关键词
引用
@article{arxiv.1706.03078,
title = {Group Invariance, Stability to Deformations, and Complexity of Deep Convolutional Representations},
author = {Alberto Bietti and Julien Mairal},
journal= {arXiv preprint arXiv:1706.03078},
year = {2019}
}