基于Rademacher收缩与稳定性约束的深度SSM架构长度无关泛化界限
机器学习
2025-05-27 v3 人工智能
机器学习
摘要
许多在长范围序列上进行训练的前沿模型，例如S4、S5或LRU，由组合了状态空间模型（SSM）与神经网络的顺序块构成。本文提供了一个PAC界限，适用于此类具有稳定SSM块的架构，且不依赖于输入序列的长度。在文献中已知，施加SSM块的稳定性是标准做法，并且有助于性能。我们的結果为使用稳定SSM块提供了理论依据，因为 proposed PAC界限随SSM块稳定性程度的增加而减小。
关键词
引用
@article{arxiv.2405.20278,
title = {Length independent generalization bounds for deep SSM architectures via Rademacher contraction and stability constraints},
author = {Dániel Rácz and Mihály Petreczky and Bálint Daróczy},
journal= {arXiv preprint arXiv:2405.20278},
year = {2025}
}
备注
preliminary version accepted at ICML 2024 Next Generation of Sequence Modeling Architectures Workshop