具有记忆刷新损失的分布式联想记忆网络
机器学习
2021-08-30 v3 神经与进化计算
机器学习
摘要
尽管记忆增强神经网络（MANN）研究近期取得进展，具有单一外部存储的联想记忆网络在复杂关系推理任务上仍表现出有限性能。尤其是基于内容的寻址记忆网络常未能将输入数据编码为足够丰富的表示以用于关系推理，这限制了MANN对长时间序列数据的关系建模性能。为解决这些问题，我们在此引入一种新颖的分布式联想记忆架构（DAM）及记忆刷新损失（MRL），以提升MANN的关系推理性能。受人类大脑工作机制启发，我们的框架跨多个记忆块以分布式表示编码数据，并类似大脑复述过程般反复刷新内容以增强记忆。为此，我们将单一外部记忆替换为一组多个较小的联想记忆块，并同时且独立地更新这些子记忆块以实现输入数据的分布式表示。此外，我们提出MRL，其在学习数据中现存的关系信息的同时辅助任务的目标准标。MRL通过从存储记忆内容中复现随机采样的输入数据，使MANN强化输入数据与任务目标间的关联。借此过程，MANN以关系信息进一步丰富了所存储的表示。实验中，我们将所提方法应用于差分神经计算机（DNC）——一种具代表性的基于内容寻址的记忆模型，并在记忆与关系推理任务上均取得最先进（SOTA）性能。
引用
@article{arxiv.2007.10637,
title = {Distributed Associative Memory Network with Memory Refreshing Loss},
author = {Taewon Park and Inchul Choi and Minho Lee},
journal= {arXiv preprint arXiv:2007.10637},
year = {2021}
}
备注
Published (https://www.sciencedirect.com/science/article/pii/S0893608021003014?via%3Dihub), Code (https://github.com/taewonpark/DAM)