压缩意味着泛化
机器学习
2021-07-02 v2
摘要
解释深度神经网络令人惊讶的泛化性能是理论机器学习中一个活跃且重要的研究方向。Arora 等人（ICML'18）的有影响力工作表明，实际中出现的深度网络噪声稳定特性可用于可证明地压缩模型表示。他们随后论证，压缩网络的小表示意味着良好的泛化性能，尽管仅针对压缩后的网络。将其压缩框架扩展以给出原始未压缩网络的泛化界仍难以实现。我们的主要贡献是建立了一个基于压缩的框架用于证明泛化界。该框架简单且足够强大，可将 Arora 等人的泛化界扩展至同样适用于原始网络。为展示该框架的灵活性，我们还表明它允许我们为其他流行机器学习模型（即支持向量机和 Boosting）给出已知最强泛化界的简单证明。
引用
@article{arxiv.2106.07989,
title = {Compression Implies Generalization},
author = {Allan Grønlund and Mikael Høgsgaard and Lior Kamma and Kasper Green Larsen},
journal= {arXiv preprint arXiv:2106.07989},
year = {2021}
}
备注
There is a bug in the proof and that we are working on fixing it. No replacement paper at this point