基于 Epanechnikov 能量的稠密关联记忆
机器学习
2026-02-03 v2
摘要
我们提出了一种用于稠密关联记忆（DenseAM）网络的新型能量函数——对数-ReLU 之和（LSR），灵感来自于最优核密度估计。与常见的对数-指数之和（LSE）函数不同，LSR 基于 Epanechnikov 核函数，能够在不要求指数分离函数的情况下实现精确记忆检索与指数容量。此外，它引入了大量额外的\emph{涌现}局部极小值，同时保持完美的模式恢复——这是 DenseAM 文献中此前未见的特征。实验结果表明，LSR 能量的局部极小值（即记忆）数量显著多于基于 LSE 的模型，且具有相当的对数似然值。对 LSR 的涌现记忆在图像数据集上的分析揭示了其创造性和新颖性，暗示了该方法在大规模记忆存储和生成任务方面的潜力。
引用
@article{arxiv.2506.10801,
title = {Dense Associative Memory with Epanechnikov Energy},
author = {Benjamin Hoover and Zhaoyang Shi and Krishnakumar Balasubramanian and Dmitry Krotov and Parikshit Ram},
journal= {arXiv preprint arXiv:2506.10801},
year = {2026}
}
备注
Accepted as Spotlight Poster to NeurIPS 2025 main conference