Hopfield-Fenchel-Young 网络：联想记忆检索的统一框架

联想记忆模型（如 Hopfield 网络及其现代变体）因记忆容量的提升及与 Transformer 中自注意力机制的联系而重获关注。本文提出一个统一框架——Hopfield-Fenchel-Young 网络，将这些模型推广到更广泛的能量函数族。我们的能量函数表述为两个 Fenchel-Young 损失之差：其中一个由广义熵参数化，定义了 Hopfield 评分机制；另一个对 Hopfield 输出施加后变换。利用 Tsallis 熵和范数熵，我们推导出端到端可微的更新规则，实现稀疏变换，揭示了损失边界、稀疏性与单一记忆模式精确检索之间的新联系。我们进一步利用 SparseMAP 变换将框架扩展到结构化 Hopfield 网络，支持模式关联的检索而非单一模式。该框架统一并扩展了传统与现代 Hopfield 网络，通过适当选择 Fenchel-Young 损失并以凸分析为基石，为广泛使用的后变换（如 $\ell_2$ 归一化和层归一化）提供了能量最小化视角。最后，我们在多样的记忆回忆任务（包括自由回忆和顺序回忆）上验证了 Hopfield-Fenchel-Young 网络。在模拟数据、图像检索、多实例学习和文本合理化实验中展示了该方法的有效性。