从互信息到期望动力学：重尾SGD的新泛化界
机器学习
2023-12-04 v1 机器学习
摘要
理解现代机器学习算法的泛化能力在过去几十年中一直是一个主要研究课题。近年来，随机梯度下降（SGD）的学习动力学已被关联到重尾动力学。通过利用这些动力学的分形性质，这已成功应用于泛化理论。然而，所推导的界依赖于超出可计算性范围的互信息（解耦）项。在本工作中，我们证明了一类重尾动力学轨迹上的泛化界，而不含那些互信息项。相反，我们通过将学习动力学（依赖于经验风险）与期望动力学（依赖于总体风险）进行比较，引入了一个几何解耦项。我们进一步利用重尾与分形文献中的技术对该几何项进行上界估计，使其完全可计算。此外，作为收紧这些界的一种尝试，我们提出了一种基于扰动动力学的PAC-Bayesian设定，其中同一几何项起着关键作用，并且仍可使用上述技术进行界定。
引用
@article{arxiv.2312.00427,
title = {From Mutual Information to Expected Dynamics: New Generalization Bounds for Heavy-Tailed SGD},
author = {Benjamin Dupuis and Paul Viallard},
journal= {arXiv preprint arXiv:2312.00427},
year = {2023}
}
备注
Accepted in the NeurIPS 2023 Workshop Heavy Tails in Machine Learning