具有脉冲神经元的脑启发多层感知机
计算机视觉与模式识别
2022-03-29 v1
摘要
近来,多层感知机(MLP)成为计算机视觉任务领域的热点。在没有归纳偏置的情况下,MLP 在特征提取上表现良好并取得惊人结果。然而,由于其结构简洁,性能高度依赖于局部特征通信机制。为进一步提升 MLP 性能,我们引入来自脑启发神经网络的信息通信机制。脉冲神经网络(SNN)是最著名的脑启发神经网络,并在处理稀疏数据上取得巨大成功。SNN 中的泄漏积分发放(LIF)神经元用于不同时间步之间的通信。本文中,我们将 LIF 神经元的机制融入 MLP 模型,以在不增加额外 FLOPs 的情况下实现更高准确率。我们提出一种全精度 LIF 操作用于分块间通信,包括不同方向上的水平 LIF 和垂直 LIF。我们还提出使用分组 LIF 来提取更好的局部特征。借助 LIF 模块,我们的 SNN-MLP 模型在 ImageNet 数据集上仅以 4.4G、8.5G 和 15.2G FLOPs 分别取得 81.9%、83.3% 和 83.5% 的 top-1 准确率,据我们所知这是当前最先进的结果。
引用
@article{arxiv.2203.14679,
title = {Brain-inspired Multilayer Perceptron with Spiking Neurons},
author = {Wenshuo Li and Hanting Chen and Jianyuan Guo and Ziyang Zhang and Yunhe Wang},
journal= {arXiv preprint arXiv:2203.14679},
year = {2022}
}
备注
This paper is accepted by CVPR 2022