广义键值记忆以灵活调节记忆增强网络中的冗余度
机器学习
2022-05-18 v1
摘要
记忆增强神经网络通过外部键值记忆增强神经网络，其复杂度通常由键记忆中支持向量的数量主导。我们提出一种广义键值记忆，通过引入一个自由参数将其维度与支持向量数量解耦，该参数可任意地向键记忆表示添加或移除冗余。实际上，它提供了一个额外的自由度，以灵活控制在鲁棒性与存储和计算广义键值记忆所需资源之间的权衡。这对于在存内计算硬件上实现键记忆尤为有用，其中它利用非理想但极高效的非易失性存储器件进行密集存储与计算。实验结果表明，在相等精度和器件数量下，按需调节该参数可有效缓解高达44%的非理想性，且无需任何神经网络重训练。
引用
@article{arxiv.2203.06223,
title = {Generalized Key-Value Memory to Flexibly Adjust Redundancy in Memory-Augmented Networks},
author = {Denis Kleyko and Geethan Karunaratne and Jan M. Rabaey and Abu Sebastian and Abbas Rahimi},
journal= {arXiv preprint arXiv:2203.06223},
year = {2022}
}
备注
8 pages, 7 figures