泊松变分自编码器
机器学习
2024-12-10 v2 人工智能
神经元与认知
摘要
变分自编码器(VAE)采用贝叶斯推理来解释感官输入,反映了灵长类动物视觉中腹侧(Higgins等人,2021)和背侧(Vafaii等人,2023)通路中发生的过程。尽管取得了成功,但传统的VAE依赖于连续潜变量,这与生物神经元的离散性质严重偏离。在这里,我们开发了泊松VAE(P-VAE),一种新颖的架构,它将预测编码的原理与将输入编码为离散脉冲计数的VAE相结合。将泊松分布的潜变量与预测编码相结合,在模型损失函数中引入了一项代谢成本项,表明与稀疏编码的关系,我们通过实验验证了这一点。此外,我们分析了学习表示的几何结构,将P-VAE与其他VAE模型进行了对比。我们发现P-VAE在相对更高的维度上编码其输入,从而在后续分类任务中以更好的(5倍)样本效率促进了类别的线性可分性。我们的工作提供了一个可解释的计算框架来研究类似大脑的感觉处理,并为更深入地理解作为推理过程的感知铺平了道路。
引用
@article{arxiv.2405.14473,
title = {Poisson Variational Autoencoder},
author = {Hadi Vafaii and Dekel Galor and Jacob L. Yates},
journal= {arXiv preprint arXiv:2405.14473},
year = {2024}
}
备注
Published as a NeurIPS 2024 Spotlight paper (https://openreview.net/forum?id=ektPEcqGLb)