面向可穿戴设备的二阶放电 SSM
机器学习
2025-12-22 v2 神经与进化计算
摘要
放电神经网络因其能源效率、无乘法计算和稀疏事件处理而受到日益关注。与此同时，状态空间模型（SSM）因其避免序列长度平方依赖性，成为长程序列建模中可扩展的变 transformer 替代方案。我们提出了 SHaRe-SSM（Spiking Harmonic Resonate-and-Fire State Space Model），一种用于 ultra-long 序列分类和回归的二阶放电 SSM。SHaRe-SSM 在平均上优于 transformer 和一阶 SSM，同时消除了矩阵乘法，使其非常适用于资源受限的应用。为确保在数万个时间步上的快速计算，我们利用 underlying dynamical system 的并行扫描公式。此外，我们引入一种基于核的方法的放电回归器，使其能够准确地对序列长度达 5 万 步的依赖进行建模。我们的结果表明，SHaRe-SSM 在能源效率（相较于基于 ANN 的二阶 SSM 低 52.1 倍）方面实现了卓越的长程建模能力，为资源受限设备如可穿戴设备奠定了强大的候选人。
引用
@article{arxiv.2510.14386,
title = {ASecond-Order SpikingSSM for Wearables},
author = {Kartikay Agrawal and Abhijeet Vikram and Vedant Sharma and Vaishnavi Nagabhushana and Ayon Borthakur},
journal= {arXiv preprint arXiv:2510.14386},
year = {2025}
}