表达性泄漏记忆神经元：一种高效且具表达力的现象学神经元模型可解决长时程任务

生物皮层神经元是极其复杂的计算装置，其在复杂的树突树上随时间整合海量突触输入，并受复杂且非线性相互作用的内部生物过程影响。近期一项研究提出通过拟合精确的替代模型来复现详细生物物理皮层锥体神经元模型的输入输出关系以刻画此复杂性，发现需要具有数百万参数的时间卷积网络（TCN）。然而，需要如此多参数可能源于TCN的归纳偏置与皮层神经元计算之间的错位。有鉴于此，并为探究泄漏记忆单元与非线性树突处理的计算意义，我们引入了表达性泄漏记忆（ELM）神经元模型，一种受生物学启发的皮层神经元现象学模型。令人惊讶的是，通过利用此类缓慢衰减的类记忆隐藏状态及两层非线性突触输入整合，我们的ELM神经元能以低于一万的可训练参数精确匹配上述输入输出关系。为进一步评估我们神经元设计的计算影响，我们在具有严苛时间结构的各种任务上对其进行评估，包括长程竞技场（LRA）数据集，以及基于Spiking Heidelberg Digits数据集（SHD-Adding）的新颖神经形态数据集。借助更多具有足够长时程的记忆单元及相应复杂的突触整合，ELM神经元展现出强大的长程处理能力，在LRA上可靠优于经典Transformer或Chrono-LSTM架构，甚至以超过70%的准确率（16k上下文长度）解决了Pathfinder-X任务。