现代Hopfield网络结合编码神经表示——解决实际问题
机器学习
2024-11-01 v2 人工智能
计算机视觉与模式识别
信息检索
神经与进化计算
摘要
现代Hopfield网络（Modern Hopfield Networks, MHN）等基于内容寻址的存储器已被作为人类陈述性记忆中自联想与存储/检索的数学模型进行研究，但它们在大规模内容存储中的实际应用面临挑战。其中最主要的是亚稳态的出现，特别是在处理大量高维内容时。本文提出了Hopfield编码网络（Hopfield Encoding Networks, HEN），这是一个将编码神经表示集成到MHN中以改善模式可分性并减少亚稳态的框架。我们表明，HEN也可用于图像与自然语言查询的异联想检索场景，从而消除了要求访问同一域中部分内容的限制。实验结果表明，亚稳态得到显著减少且存储容量得到提升，同时仍能完美召回数量大幅增加的输入，推进了联想记忆网络在实际任务中的实用价值。
引用
@article{arxiv.2409.16408,
title = {Modern Hopfield Networks meet Encoded Neural Representations -- Addressing Practical Considerations},
author = {Satyananda Kashyap and Niharika S. D'Souza and Luyao Shi and Ken C. L. Wong and Hongzhi Wang and Tanveer Syeda-Mahmood},
journal= {arXiv preprint arXiv:2409.16408},
year = {2024}
}
备注
17 pages, 8 figures, accepted as a workshop paper at UniReps @ Neurips 2024