包含稳定 RNN 在内的动力系统的 PAC-Bayes 泛化界
机器学习
2024-04-12 v1 机器学习
摘要
在监督时间序列设定下，本文针对一类特殊的离散时间非线性动力系统推导了泛化间隙的 PAC-Bayes 界。该类系统包含稳定循环神经网络（RNN），本工作的动机正是将其应用于 RNN。为获得相关结果，我们对允许的模型施加了稳定性约束。此处的稳定性是在动力系统意义上理解的。对于 RNN，这些稳定性条件可以表示为权重的条件。我们假设所涉及的过程是本质有界的，且损失函数是 Lipschitz 的。所提出的泛化间隙界取决于数据分布的混合系数以及数据的本质上确界。此外，该界随着数据集规模的增大而收敛于零。在本文中，我们：1) 形式化了该学习问题；2) 推导了此类系统的 PAC-Bayes 误差界；3) 讨论了该误差界的各种推论；4) 给出了一个说明性示例，并讨论了如何计算所提出的界。与现有的其他界不同，推导出的界适用于非独立同分布数据（时间序列），且不随 RNN 的步数增加而增大。
引用
@article{arxiv.2312.09793,
title = {PAC-Bayes Generalisation Bounds for Dynamical Systems Including Stable RNNs},
author = {Deividas Eringis and John Leth and Zheng-Hua Tan and Rafal Wisniewski and Mihaly Petreczky},
journal= {arXiv preprint arXiv:2312.09793},
year = {2024}
}
备注
Accepted to AAAI2024 conference