用于快速假手控制的带脉冲神经元的在线 Transformer

Transformer 是大多数序列处理任务中最先进的网络。然而，Transformer 中常用的自注意力机制需要每个计算步的大时间窗口，因而相较于循环神经网络（RNN）更不适用于在线信号处理。本文中，我们不使用自注意力机制，而是采用滑动窗口注意力机制。我们表明该机制对于输入与目标间具有有限范围依赖的连续信号更为高效，且可用来逐元素处理序列，从而使其兼容在线处理。我们在手指位置回归数据集（NinaproDB8）上测试模型，该数据集包含前臂皮肤上测量的表面肌电（sEMG）信号以估计肌肉活动。我们的方法在该数据集上取得了新的最先进精度，同时在每步推理仅需 3.5 ms 的极短时间窗口。此外，我们使用泄漏积分发放（LIF）单元提高网络稀疏性，这是一种生物启发的神经元模型，仅在跨过阈值时于时间上稀疏激活。因此我们可将突触操作数量减少至多 $\times5.3$ 倍而无精度损失。我们的结果对用于平滑假手控制的准确快速 sEMG 信号在线处理极具前景，并朝着 Transformer 与脉冲神经网络（SNN）共集成以实现高能效时序信号处理迈出一步。