具有数据依赖分形维度的泛化界

为现代神经网络提供泛化保证一直是统计学习中的关键任务。最近，一些研究尝试使用分形几何的工具来分析此类设定下的泛化误差。虽然这些工作成功引入了新的数学工具来理解泛化，但它们严重依赖 Lipschitz 连续性假设，而该假设通常对神经网络不成立，可能使界限变得无效。在本工作中，我们解决了这一问题，并在不要求任何 Lipschitz 假设的情况下证明了基于分形几何的泛化界。为实现这一目标，我们基于学习理论中的经典覆盖论证，引入了一种数据依赖的分形维度。尽管引入了大量的技术复杂性，这一新概念使我们能够控制泛化误差（在固定或随机假设空间上）以及特定的互信息（MI）项。为了对新引入的 MI 项提供更清晰的解释，下一步我们引入了“几何稳定性”的概念，并将我们的界限与先前的工作联系起来。最后，我们在所提出的数据依赖维度与拓扑数据分析工具之间建立了严格的联系，从而能够以数值高效的方式计算该维度。我们通过各种设定下的实验支持了我们的理论。