用对角线性 RNN 简化并理解状态空间模型

基于线性状态空间（SSMs）的序列模型近来已成为跨多种模态建模长程依赖的有前景架构选择。然而，它们无不依赖连续状态空间的离散化，这使其表述与理解复杂化。本工作中，我们弃用离散化步骤，提出基于朴素对角线性 RNN（$\mathrm{DLR}$）的模型。我们经实验表明，尽管概念上更简单，$\mathrm{DLR}$ 在包括 Long Range Arena 与原始语音分类在内的多种任务与基准上与前人提出的 SSMs 性能相当。此外，我们通过一套 $13$ 个合成序列到序列任务刻画 SSMs（含 $\mathrm{DLR}$）与基于注意力模型的表现力，这些任务涉及超过数万 token 的交互，从移位输入序列等简单操作，到在展平图像中检测长空间范围的共生视觉特征。我们发现，虽然 SSMs 在可用 $\textit{少数}$ 卷积核建模的任务上报告近完美性能，它们在需要 $\textit{许多}$ 此类核、尤其当所需序列操作为 $\textit{上下文相关}$ 时表现不佳。尽管有这些局限，$\mathrm{DLR}$ 在两个高阶推理任务 $\mathrm{ListOpsSubTrees}$ 与 $\mathrm{PathfinderSegmentation}\text{-}\mathrm{256}$ 上达到高性能，输入长度分别为 $8K$ 与 $65K$，并在输入长度 $262K$ 的 $\mathrm{PathfinderSegmentation}\text{-}\mathrm{512}$ 上给出令人鼓舞的性能，而该任务注意力并非可行选择。