树突共振-放电神经元用于有效且高效的长序列建模
机器学习
2025-09-29 v2 人工智能
摘要
序列长度的爆炸式增长加剧了对有效且高效长序列建模的需求。受内在振荡膜动力学启发，共振-放电 (RF) 神经元能够高效地从输入信号中提取频率分量，并编码为时空脉冲序列，使其非常适合长序列建模。然而，RF 神经元的有效记忆容量有限，且在复杂时序任务上存在能源效率与训练速度之间的权衡。受生物神经元树突结构的启发，我们提出了树突共振-放电 (D-RF) 模型，显式地包含多树突和细胞体结构。每个树突分支通过利用 RF 神经元的内在振荡动力学对特定频率带进行编码，从而整体实现全面的频率表示。此外，我们将自适应阈值机制引入细胞体结构，该机制根据历史放电活动调整阈值，减少冗余脉冲，同时在长序列任务中保持训练效率。广泛的实验表明，我们的方法在保持竞争性精度的同时，大幅确保稀疏脉冲，而不损害训练期间的计算效率。这些结果凸显了其作为在边缘平台上实现长序列建模的有效且高效解决方案的潜力。
引用
@article{arxiv.2509.17186,
title = {Dendritic Resonate-and-Fire Neuron for Effective and Efficient Long Sequence Modeling},
author = {Dehao Zhang and Malu Zhang and Shuai Wang and Jingya Wang and Wenjie Wei and Zeyu Ma and Guoqing Wang and Yang Yang and Haizhou Li},
journal= {arXiv preprint arXiv:2509.17186},
year = {2025}
}