生物启发式 Mamba：选择性状态空间模型中的时间局部性与生物合理学习
神经与进化计算
2024-09-18 v1 计算与语言
摘要
本文介绍生物启发式 Mamba (BIM)，一种面向选择性状态空间模型的新型在线学习框架，将生物学习原理与 Mamba 架构相融合。BIM 将实时递归学习 (RTRL) 与类脉冲时间依赖可塑性 (STDP) 的局部学习规则相结合，以应对脉冲神经网络训练中的时间局部性和生物合理性挑战。我们的方法利用了随时间反向传播与 STDP 之间的内在联系，提供了一种计算高效的替代方案，同时保持了捕捉长程依赖的能力。我们在语言建模、语音识别和生物医学信号分析任务上评估了 BIM，结果表明其性能与传统方法相比具有竞争力，同时遵循生物学习原理。结果显示出更高的能效和神经形态硬件实现的潜力。BIM 不仅推动了生物合理机器学习领域的发展，还为理解生物神经网络中时间信息处理机制提供了洞见。
引用
@article{arxiv.2409.11263,
title = {Bio-Inspired Mamba: Temporal Locality and Bioplausible Learning in Selective State Space Models},
author = {Jiahao Qin},
journal= {arXiv preprint arXiv:2409.11263},
year = {2024}
}
备注
17 pages, 1 figure, 2 tables