有界容量类组合中加性噪声的益处
机器学习
2022-06-16 v1 机器学习
摘要
我们观察到，给定两个（兼容的）函数类 和 ，若其一致覆盖数所度量的容量较小，则复合类 的容量可能变得过大甚至无界。接着我们证明，在将 的输出与 复合之前，向其添加少量高斯噪声可有效控制 的容量，从而为模块化设计提供一种通用方案。为证明我们的结果，我们定义了关于全变差和 Wasserstein 距离的随机函数一致覆盖数的新概念。我们将结果具体应用于多层 sigmoid 神经网络的情形。在 MNIST 数据集上的初步实验结果表明，相较于现有一致界所需的改进，所需噪声在数值上可忽略不计（即逐元素独立同分布高斯噪声，标准差为 ）。源代码见 https://github.com/fathollahpour/composition_noise。
引用
@article{arxiv.2206.07199,
title = {Benefits of Additive Noise in Composing Classes with Bounded Capacity},
author = {Alireza Fathollah Pour and Hassan Ashtiani},
journal= {arXiv preprint arXiv:2206.07199},
year = {2022}
}