用于在线模型自适应的标记记忆网络

在不增加训练参数数量的情况下扩充记忆的神经网络是近期一个强大的概念，具有许多令人兴奋的应用。我们提出了一种称为标记记忆网络(Labeled Memory Networks, LMNs)的记忆增强神经网络(memory augmented neural networks, MANNs)设计，适用于需要分类模型在线自适应的任务。LMNs以类别为主键来组织记忆。该记忆作为常规神经网络之后的第二个提升阶段，从而使记忆与主网络发挥互补作用。与现有的为每个实例写入记忆并使用基于LRU的记忆替换的MANNs不同，LMNs仅对具有非零损失的实例写入，并使用基于标签的记忆替换。我们在包括词建模和少样本学习在内的各种任务上展示了显著的准确率提升。在本文中，我们确立了它们在部署时将由批量训练的神经网络在线自适应到领域相关标记数据方面的潜力。我们表明LMNs优于为元学习设计的其他MANNs。我们还发现它们比用于自适应领域特定标记数据的重新调整模型参数最先进(state-of-the-art)方法更准确且更快。