通过逃离伪不动点改进稀疏联想记忆
神经与进化计算
2013-08-29 v1 信息论
math.IT
摘要
Gripon-Berrou 神经网络（GBNN）是一种新近发明的循环神经网络，它采用类似 LDPC 的稀疏编码设置，使其对噪声和错误具有极强的恢复能力。GBNN 的一种自然应用是作为联想记忆。神经元动力学有两种激活规则，即 sum-of-sum 和 sum-of-max。后者在检索率方面远胜于前者。在先前的讨论和实验中，人们认为尽管 sum-of-sum 可能导致网络振荡，但 sum-of-max 总是收敛到对应于先前存储模式的神经元团系。然而，这并不完全正确。事实上，sum-of-max 经常收敛到伪不动点，此时团系仅包含收敛状态的一个小子集。利用这一被忽视的事实，我们可以大幅提高检索率。我们讨论了这一特定问题，并提出了多种启发式方法以推动 sum-of-max 越过这些伪不动点。为了直接且彻底地解决该问题，还开发了一种新颖的后处理算法，并针对 GBNN 的结构进行了定制。实验结果表明，与标准 sum-of-max 及所有其他启发式方法相比，新算法在检索率和运行时间方面均实现了巨大的性能提升。
引用
@article{arxiv.1308.6003,
title = {Improving Sparse Associative Memories by Escaping from Bogus Fixed Points},
author = {Zhe Yao and Vincent Gripon and Michael Rabbat},
journal= {arXiv preprint arXiv:1308.6003},
year = {2013}
}
备注
12 pages