深入未知海域：从 Transformer 到 Mamba 的导航罗盘
计算与语言
2024-06-25 v1
摘要
Transformer作为一种深度神经网络架构，长期以来主导自然语言处理及更广泛的领域。然而，近期Mamba的出现挑战了其优势地位，引发了研究者的广泛关注，并催生了一系列基于Mamba的模型，这些模型展现出显著的潜力。本综述论文系统性地讨论了Mamba机制及其在结构化状态空间模型原理基础上的实现，涵盖：(i) Mamba机制的工作原理及其结构化状态空间模型的基础；(ii) 对Mamba的改进提议及其与各种网络的集成，探索其作为Transformer替代方案的潜力；(iii) Transformer与Mamba的组合，以弥补彼此不足。我们还努力在核函数框架下解释Mamba与Transformer，允许在统一的上下文中进行数学本质的比较。本论文涵盖了迄今为止与Mamba相关的绝大多数改进。
引用
@article{arxiv.2406.16722,
title = {Venturing into Uncharted Waters: The Navigation Compass from Transformer to Mamba},
author = {Yuchen Zou and Yineng Chen and Zuchao Li and Lefei Zhang and Hai Zhao},
journal= {arXiv preprint arXiv:2406.16722},
year = {2024}
}