稀疏与结构化 Hopfield 网络

现代 Hopfield 网络因与 Transformer 中注意力机制的关联而备受近期关注。我们的论文通过建立与 Fenchel-Young 损失的联系，为稀疏 Hopfield 网络提供了一个统一框架。其结果是一个新的 Hopfield-Fenchel-Young 能量族，其更新规则是端到端可微的稀疏变换。我们揭示了损失间隔、稀疏性与精确记忆检索之间的联系。我们进一步通过 SparseMAP 变换将该框架扩展至结构化 Hopfield 网络，该网络能够检索模式关联而非单一模式。在多示例学习和文本合理化上的实验证明了我们方法的有效性。