面向数据高效泛化的状态空间模型归一化归纳偏置

现代AI的显著成功密切关联于规模定律，但有限的高质量数据资源使数据效率——从更少数据中学习更多——日益成为关键前沿。模型的归纳偏置是数据效率的关键杠杆，但诸如状态空间模型（SSM）等基础序列模型往往依赖于固定、任务无关的偏置。当这种固定先验与任务底层结构不匹配时，模型可能需要额外样本来克服自身偏置，才能学习相关信号。本文提出一种原则化框架，用于理解和对齐线性时不变SSM的归纳偏置。我们首先通过SSM诱导核形式化该偏置，并在理论与实证上表明，其谱由模型的频率响应所支配。这一表征激发了任务依赖初始化（TDI）——一种快速谱匹配方法——通过匹配任务谱特征在下游训练前对齐初始SSM偏置。无论是受控合成实验、可训练单层SSM，还是深度SSM在多样真实世界基准上的实验中，TDI均能在任务相关谱结构存在且默认SSM偏置谱不匹配时，主要提升数据高效泛化。我们的结果提供了既是理论视角又是实用工具的任务自适应归纳偏置路径，指向更高效的序列建模。