通过图像重建探索Mamba架构的长度泛化
机器学习
2026-03-16 v1
摘要
Mamba因其低计算复杂度和相对于变压器的竞争性能而引起广泛关注，作为通用序列模型。然而，当推理序列长度超过训练期间所见的序列长度时，其性能会下降。我们使用受控视觉任务，其中Mamba从图像块序列中重建图像来研究这一现象。通过分析不同序列处理阶段的重建结果，我们揭示了Mamba在训练期间所遇到的序列长度分布上的定性适应，导致其策略无法在此范围之外泛化。为支持我们的分析，我们引入了Mamba的一种长度自适应变体，可提高不同训练序列长度下的性能。我们的结果为Mamba的长度泛化提供了直观的视角，并为改进该架构提供了方向。
引用
@article{arxiv.2603.12499,
title = {Probing Length Generalization in Mamba via Image Reconstruction},
author = {Jan Rathjens and Robin Schiewer and Laurenz Wiskott and Anand Subramoney},
journal= {arXiv preprint arXiv:2603.12499},
year = {2026}
}