神经经验贝叶斯

我们统一了核密度估计（kernel density estimation）与经验贝叶斯（empirical Bayes），并以这些方法基于测度集中（concentration of measure）现象的几何解释为根基，解决无监督学习中的一组问题。核密度在符号上被视为 X ⇝ Y，其中随机变量 X 被平滑为 Y = X + N(0,σ^2 I_d)，而经验贝叶斯是以最小二乘意义去噪的机制，我们将其表示为 X ⇐ Y。通过将这两者结合推导出一个学习目标，符号上概括为 X ⇌ Y。关键的是，我们不用原始的非参数估计量，而是用记为 φ 的神经网络参数化能量函数（the energy function）；在最优时，∇φ ≈ −∇log f，其中 f 是 Y 的密度。该优化问题被抽象为由于各向同性高斯集中而出现的高维球体的相互作用。我们基于该机制引入了两种算法框架：（i）一种“游走-跳跃”采样方案，结合 Langevin MCMC（游走）与经验贝叶斯（跳跃）；（ii）一种用于联想记忆（associative memory）的概率框架，称为 NEBULA，按照 Hopfield 的方式由学习能量的梯度流定义至一组吸引子。我们在文末报告了在高度重叠球体下，NEBULA 的吸引子涌现出极为丰富的“创造性记忆”。