变分分布神经元

我们提出了一个概念验证：变分分布神经元——一种以VAE砖块形式的计算单元，显式地携带先验、 amortized后验和局部ELBO。该单元不再是一个确定的标量，而是一个分布：计算不再是关于传递值，而是关于在约束下收缩连续的可能性空间。每个神经元参数化后验，传递一个重参数化样本，并通过局部ELBO的KL项进行正则化——因此，激活是分布式的。这种"收缩"可以通过局部约束进行测试，并通过内部测度进行监控。该单元携带的上下文信息量，以及该信息的时间持久性，由不同的约束局部调节。该提案解决了结构性张力：在顺序生成中，因果性主要在符号空间中组织，即使存在潜在变量，他们也往往仅作为辅助量，而有效动力学由 largely 确定的解码器承载。并行地，概率潜在模型捕获变异和不确定性的因素，但这种不确定性通常由全局或参数化机制承担，而单元继续传递标量——因此，关键问题：如果不确定性是计算的内在属性，为什么计算单元不携带它？我们因此绘制了两个轴：(i) 概率约束的组成，必须稳定、可解释和可控制；(ii) 粒度：如果推理是在约束下分布的协商，原始单元是否应保持确定还是变为分布？我们分析了"坍塌"模式和"活跃神经元"的条件，然后通过对潜在变量的自回归先验扩展了该贡献。