去随机化 PAC-Bayes 间隔界：在非凸与非光滑预测器上的应用
机器学习
2020-11-13 v3 机器学习
摘要
尽管已有若干显著努力，解释确定性非光滑深度网络（如 ReLU 网络）的泛化性仍具挑战。针对确定性非光滑深度网络的现有方法通常需要界定此类深度网络的 Lipschitz 常数，但这类界相当大，甚至可能随训练集规模增大而产生空洞的泛化界。本文提出一类用于确定性非凸与非光滑预测器（如 ReLU 网络）的新的去随机化 PAC-Bayes 间隔界。与适用于贝叶斯预测器的 PAC-Bayes 不同，去随机化界适用于如 ReLU 网络之类的确定性预测器。该界的一个具体实例依赖于训练权重与初始化的（加权）距离和训练后预测器的有效曲率（"平坦度"）之间的权衡。为得到这些界，我们首先针对非凸但光滑的预测器（如线性深度网络（LDNs））发展了去随机化论证，将确定性预测器的性能与贝叶斯预测器相联系。继而考虑非光滑预测器，其对任意给定输入实现为光滑预测器（如 ReLU 网络对任意给定输入变为某些 LDNs，但实现的光滑预测器可随输入不同而异）。对此类非光滑预测器，我们引入一种新的 PAC-Bayes 分析，利用给定输入下已实现预测器（如 LDN）的光滑性，避免依赖于非光滑预测器的 Lipschitz 常数。经细致去随机化后，我们得到确定性非光滑预测器的界。我们还基于此类界建立了非均匀样本复杂度结果。最后，我们给出了关于训练集规模变化与标签随机性的我们界的大量实证结果。
引用
@article{arxiv.2002.09956,
title = {De-randomized PAC-Bayes Margin Bounds: Applications to Non-convex and Non-smooth Predictors},
author = {Arindam Banerjee and Tiancong Chen and Yingxue Zhou},
journal= {arXiv preprint arXiv:2002.09956},
year = {2020}
}