泊松变分自编码器中的信息处理代谢成本

生物系统中的计算本质上受能量约束，但标准的计算理论将能量视为可自由获取的资源。我们认为，在泊松假设下进行的变分自由能最小化，为一种以能量为导向的计算理论提供了原则路径。我们的关键观察是，泊松自由能目标中的 Kullback-Leibler (KL) 散度项与模型神经元的先验放电率成正比，从而产生一种代谢成本项，用于惩罚高基线活性。这种结构将一种抽象的信息论量——*编码速率*——与一种具体的生物物理变量——*放电率*——耦合起来，从而实现编码保真度与能源消耗之间的权衡。这种耦合在泊松变分自编码器 (P-VAE) 中自然实现——这是一种以脉冲计数对输入进行编码的大脑启发式生成模型，可将稀疏编码作为一种特殊情况——而在标准高斯 VAE 中则不存在。为证明这种代谢成本结构是特定于泊松公式的，我们将 P-VAE 与一种控制非负性约束的高斯 VAE (Grelu-VAE) 进行比较，即对潜在样本应用 ReLU 整流。我们通过系统性地调节 KL 项权重系数 $\beta$ 和潜在维度，发现增加 $\beta$ 会单调增加稀疏性并降低 P-VAE 的平均放电活性。相比之下，Grelu-VAE 的表示形式保持不变，证明这种效应是特定于泊松统计，而非非负表示的副产品。这些结果确立了泊松变分推断作为资源受限计算理论的有前景的基础。