稠密联想记忆中的鞍点层级

稠密联想记忆（Dense Associative Memory, DAM）模型因被证明对对抗样本具有鲁棒性，并与注意力机制和生成扩散等前沿机器学习范式密切相关，近年来重新受到关注。我们研究了一种基于三层玻尔兹曼机（Boltzmann machine）构建的 DAM，其隐藏单元为 Potts 单元，用于表示数据簇和类别。通过统计力学分析，我们推导出鞍点方程，这些方程既刻画了在真实数据上训练的 DAM 的驻点，也刻画了在师生框架下用合成数据训练的 DAM 的不动点。基于这些结果，我们提出了一种新颖的正则化方案，使训练过程显著更稳定。此外，我们通过实验表明，我们的 DAM 能为有监督和无监督分类问题学习到可解释的解。进一步推进理论分析，我们发现相对较小的 DAM 学习到的权重对应于较大 DAM 中的不稳定鞍点。我们实现了一种网络增长算法，利用这种鞍点层级结构大幅降低了训练稠密联想记忆的计算成本。