ESVAE：一种具有可重参数化泊松脉冲采样的高效脉冲变分自编码器
计算机视觉与模式识别
2024-10-28 v2 人工智能
神经与进化计算
摘要
近年来，关于脉冲神经网络（SNNs）图像生成模型的研究引起了众多研究者的关注。变分自编码器（VAEs）作为最流行的图像生成模型之一，已吸引大量工作探索其 SNN 实现。由于 SNN 中受限的二值表示，现有 SNN VAE 方法通过精心设计的自回归网络隐式构造潜空间，并将网络输出用作采样变量。然而，这种未明确的潜空间隐式表示会增加生成高质量图像的难度，并引入额外的网络参数。本文提出一种高效脉冲变分自编码器（ESVAE），其构造可解释的潜空间分布并设计一种可重参数化脉冲采样方法。具体而言，我们利用脉冲神经元的发放率将潜空间的先验与后验构造为泊松分布。随后，我们提出一种无需额外网络的可重参数化泊松脉冲采样方法。我们进行了全面的实验，实验结果表明所提 ESVAE 在重建与生成图像质量上优于先前 SNN VAE 方法。此外，实验证明 ESVAE 的编码器能更高效地保留原始图像信息，且解码器更具鲁棒性。源代码见 https://github.com/QgZhan/ESVAE。
引用
@article{arxiv.2310.14839,
title = {ESVAE: An Efficient Spiking Variational Autoencoder with Reparameterizable Poisson Spiking Sampling},
author = {Qiugang Zhan and Ran Tao and Xiurui Xie and Guisong Liu and Malu Zhang and Huajin Tang and Yang Yang},
journal= {arXiv preprint arXiv:2310.14839},
year = {2024}
}
备注
This work has been submitted to the IEEE for possible publication