关于稀疏现代Hopfield模型
机器学习
2023-12-01 v2 人工智能
计算机视觉与模式识别
机器学习
摘要
我们提出了稀疏现代Hopfield模型，作为现代Hopfield模型的稀疏扩展。与其稠密对应模型类似，稀疏现代Hopfield模型配备了一种记忆检索动力学，其单步近似对应于稀疏注意力机制。在理论上，我们的关键贡献是利用稀疏熵正则化项的凸共轭，对闭式稀疏Hopfield能量进行了有依据的推导。在此基础上，我们从稀疏能量函数推导出稀疏记忆检索动力学，并证明其单步近似等价于稀疏结构注意力。重要的是，我们给出了一个依赖于稀疏度的记忆检索误差界，该误差界可证明比其稠密类比更紧。因此，我们识别并讨论了稀疏性带来收益的适用条件。此外，我们表明稀疏现代Hopfield模型保持了其稠密对应模型的稳健理论性质，包括快速不动点收敛和指数级记忆容量。在实验上，我们使用合成和真实世界数据集来证明稀疏Hopfield模型在许多情况下优于其稠密对应模型。
引用
@article{arxiv.2309.12673,
title = {On Sparse Modern Hopfield Model},
author = {Jerry Yao-Chieh Hu and Donglin Yang and Dennis Wu and Chenwei Xu and Bo-Yu Chen and Han Liu},
journal= {arXiv preprint arXiv:2309.12673},
year = {2023}
}
备注
37 pages, accepted at NeurIPS 2023. [v2] updated to match with camera-ready version. Code is available at https://github.com/MAGICS-LAB/SparseModernHopfield