探索变分神经元的维度

我们提出了 EVE（Elemental Variational Expanse，即原子变分展开），这是一种以显式先验、 amortized后验以及单元级变分正则化构成的局部概率计算单元的变分分布神经元。在现代神经网络架构中，uncertainty通常通过全局隐变量或参数不确定性来建模，而计算单元本身保持标量形式。EVE 将概率结构重新定位到神经元层级，使其具有局部可观测性和可控性。本文中提到的维度主要指神经元内部的隐含维度，记为 k。我们研究了当 k 从原子情况 k=1 逐步增加到更高维隐空间时，神经元学习到的运行 regime 如何变化。随后我们检查了这一主轴如何与两种额外的结构属性相互作用：局部容量控制和通过神经元级自回归扩展实现的时间持久性。为支持本研究，EVE 配备了内部诊断工具和约束，包括有效 KL 散度、mu^2 的目标带、越界比例以及漂移和坍缩的指示器。在选取的预测和表格设置下，我们展示了隐含维度、控制机制和时间扩展如何塑造神经元的内部运行 regime，并指出某些神经元级变量是可衡量的、具有信息性，并且与下游行为密切相关。总体而言，本文为变分神经元所开启的设计空间提供了实验依据较强的首个映射。