对抗稀疏聚类联想记忆中的腐败消息
神经与进化计算
2014-09-30 v1
摘要
本文分析并扩展了由 Gripon 和 Berrou 提出的基于神经网络的联想记忆模型。该联想记忆类似于著名的 Willshaw 模型，但增加了二分聚类结构。文献中为该网络动力学提出了两种检索方案，即 sum-of-sum 和 sum-of-max。在考虑可比的检索场景时，两者的性能均显著优于 Willshaw 和 Hopfield 网络。先前的讨论和实验集中于擦除场景，即使用部分消息作为探针输入网络，以期检索出完整消息。在此方面，sum-of-max 在检索率上大幅优于 sum-of-sum。然而，我们观察到当存在噪声和错误且网络被腐败探针查询时，sum-of-max 面临严重局限，因为其严格的激活规则阻止神经元一旦去激活后重新激活。在本文中，我们对不同的错误场景进行分类和分析，以便一致地处理擦除和腐败场景。我们对网络结构进行了修正以提高检索率，代价是每个神经元增加一个标量。随后，提出了五种不同的方法来处理腐败探针。结果，我们扩展了网络能力，并提高了检索过程的鲁棒性。接着，我们在实验上比较了所有这些提案，并讨论了每种方法在不同类型错误下的优缺点。仿真结果表明，如果精心设计，即使在被腐败探针查询时，网络也能同时保持高检索率和低运行时间。
关键词
引用
@article{arxiv.1409.7758,
title = {Combating Corrupt Messages in Sparse Clustered Associative Memories},
author = {Zhe Yao and Vincent Gripon and Michael Rabbat},
journal= {arXiv preprint arXiv:1409.7758},
year = {2014}
}