受限玻尔兹曼机中激活函数、统计与高阶相互作用的学习

神经网络在识别复杂数据中隐藏模式和相关性的卓越成功，得益于大量参数与非线性单单元激活函数的协同作用。受限玻尔兹曼机（RBMs）提供了一个简单而强大的框架，用于研究激活非线性对性能和表示的影响。本文利用 RBM 与相互作用二值变量模型之间的对偶关系，研究不同隐藏单元激活函数所诱导相互作用统计。我们以四种常用激活函数（线性、阶跃、ReLU 和指数）的 moments 表示形式，分析可表示模型的空间。对学习的定量预测与仿真训练过程结果 agreement 良好。特别是，我们的分析表明，某些数据结构——即由具有大规模非两两相互作用项的相互作用变量模型生成的数据结构——对于任何 RBM 都难以表示和学习。然而，我们发现指数函数等快速递增的非线性函数，在特定参数范围内可促进此类数据结构的表示和学习。