基于核岭回归的高容量 Hopfield 网络高效学习方法
机器学习
2025-08-26 v4 神经与进化计算
摘要
使用赫鲁巴学习的 Hopfield 网络存在存储容量受限的问题。虽然监督方法如线性逻辑回归 (LLR) 能提供一定的改进，但核方法如核逻辑回归 (KLR) 能显著提升存储容量和噪声鲁棒性。然而，KLR 需要计算昂贵的迭代学习。我们提出基于核岭回归 (KRR) 的高效核方法，用于学习高容量 Hopfield 网络。KRR 利用核技巧通过回归预测双极态，关键在于提供学习对偶变量的闭式解。我们评估 KRR 并将其性能与 Hebbian、LLR 和 KLR 进行比较。我们的结果表明，KRR 实现了最高的存储容量（达到存储负载 1.5）和噪声鲁棒性，性能与 KLR 相当。关键在于，KRR 大幅减少了训练时间，尤其是在更高的存储负载下，比 LLR 快几个数量级，比 KLR 也快得显著。这一工作为构建高性能关联记忆网络提供了一种强大且高度高效的方法，能够在保持训练速度优势的同时，实现与 KLR 相当的性能。本文首次对比 KRR 和 KLR 在 Hopfield 网络学习中的实际表现。
关键词
引用
@article{arxiv.2504.12561,
title = {Kernel Ridge Regression for Efficient Learning of High-Capacity Hopfield Networks},
author = {Akira Tamamori},
journal= {arXiv preprint arXiv:2504.12561},
year = {2025}
}
备注
6 pages, 3 figures, 1 table. Accepted to APSIPA ASC 2025