W4S4：WaLRUS 遇上 S4 用于长程序列建模

状态空间模型 (SSM) 已成为序列建模的强大组件，能够通过线性递推和卷积计算高效处理长程依赖。然而，其有效性高度依赖于状态矩阵的选择与初始化。本文基于 SaFARi 框架和现有 WaLRUS SSM，提出一种新变体 W4S4（WaLRUS for S4），这是由来自冗余小波帧构建的新型 SSM 类。WaLRUS 能够实现稳定的对角化，并支持无需低秩近似的快速核计算，因而既在理论上有据可依，又在计算上高效。我们展示，WaLRUS 在 HiPPO 基于 SSM 中相比，在孤立状态以及集成到深度体系结构（如 S4）中时，均在更长的时序保留信息方面显著优于后者。我们的实验表明，在延迟重构任务、分类基准和长程序列建模中，WaLRUS 均实现了持续的改进，确认了由小波基状态动力学所启发的高质量、结构化初始化在长程序列建模中相较于现有替代方案具有显著优势。WaLRUS 为下一代深度 SSM-based 模型提供了可扩展且通用的基础。