FRACTAL：基于分数递归架构的 SSM 用于长序列计算时域分析
人工智能
2026-05-12 v1
摘要
有效的序列建模根本上需要在保持无限历史记忆与捕捉真实世界现象中突发短期变化的高分辨率检测之间取得平衡。然而，现有基于高阶多项式投影算子（HiPPO）的状态空间模型（SSM）面临关键权衡：均匀度量会稀释最近信息以维持 timescale 不变性，而指数度量则牺牲全局上下文以捕捉局部动态。本文提出一种用于长序列计算时域分析的分数递归架构（FRACTAL），这是一种新型架构，将分数测度理论集成到递归记忆更新中以解决这一限制。通过推导具有分析特征谱性质和可调singularity指数的投影算子，所提方法放大对最近信号扰动的灵敏度，同时保持编码尺度不变记忆动力学的谱结构。该理论创新通过调制输入投影初始化，在简化的对角化状态空间框架内实现，使其能够同时捕捉多尺度时序特征。FRACTAL 在 Long Range Arena 基准测试上获得平均 87.11% 的得分，包括 ListOps 任务的 61.85%，超越 S5 模型。
引用
@article{arxiv.2605.08833,
title = {FRACTAL: SSM with Fractional Recurrent Architecture for Computational Temporal Analysis of Long Sequences},
author = {Mengqi Li and Wensheng Lin and Jinshuai Yang and Lixin Li},
journal= {arXiv preprint arXiv:2605.08833},
year = {2026}
}
备注
19 pages (10 pages main text, 9 pages appendix), 3 figures. Accepted by ICML 2026