序列模型的连续性定律
机器学习
2026-05-12 v1 人工智能
摘要
归纳偏置影响序列模型的行为和性能。本文研究一种较少探索的序列建模归纳偏置：时间上的连续性。我们提出一个简单问题：受连续时间形式启发的模型（如状态空间模型）是否在时间上实际表现为连续的，这是否转化为在具有连续时间结构的任务上的更好性能？为此，我们将模型连续性形式化为在时间细化下的收敛，若模型的预测随时间离散化细化而趋近于底层连续轨迹，则该模型是连续的。我们证明S4 exhibits 稳定的连续行为，而S6（Mamba 的核心）对输入幅度和选择性动力学更敏感，尽管其源自连续动力学系统。为研究这种区别对学习的影响，我们也需要相应的任务连续性概念。因此，我们引入一种度量标准，直接从时间结构量化数据集的连续性。在多个基准测试中，我们发现任务连续性、模型连续性与模型性能之间存在明确的经验性关联。除了归纳偏置之外，连续性还有实际影响：我们展示这使一种简单的时间抽样策略能够同时提高效率和性能。
引用
@article{arxiv.2605.08539,
title = {Continuity Laws for Sequential Models},
author = {Annan Yu and Dongwei Lyu and N. Benjamin Erichson},
journal= {arXiv preprint arXiv:2605.08539},
year = {2026}
}