利用指针增强的神经记忆提升顺序模型的长度外推
机器学习
2024-04-19 v1 计算与语言
摘要
我们提出指针增强神经记忆（Pointer-Augmented Neural Memory, PANM），以帮助神经网络理解和应用对新更长数据的序列处理。PANM集成了外部神经记忆，利用新颖的物理地址和指针操作技术来模拟人类和计算机的符号处理能力。PANM通过显式使用物理指针来访问记忆内容，促进指针分配、解引用和算术运算。惊人的是，它可以通过在序列数据上的端到端训练来学习这些操作，为各种顺序模型提供动力。我们的实验表明，PANM在长度外推方面具有卓越的能力，在需要符号处理的任务中表现更好，例如算法推理和 Dyck 语言识别。PANM帮助Transformer在组合学习任务中实现最高达100%的泛化准确率，在数学推理、问答和机器翻译等任务中取得显著更好的结果。
关键词
引用
@article{arxiv.2404.11870,
title = {Enhancing Length Extrapolation in Sequential Models with Pointer-Augmented Neural Memory},
author = {Hung Le and Dung Nguyen and Kien Do and Svetha Venkatesh and Truyen Tran},
journal= {arXiv preprint arXiv:2404.11870},
year = {2024}
}
备注
Preprint