记忆对序列到序列任务学习的影响

神经网络在自然语言处理中的近期成功，使人们对序列到序列（seq2seq）任务的学习重新关注。尽管已有丰富文献利用可解的神经网络模型研究分类与回归任务，但从该视角对 seq2seq 任务的研究尚属空白。在此，我们提出一个 seq2seq 任务的简单模型，其优势在于可对序列中的记忆程度或非马尔可夫性进行显式控制——即随机切换-奥恩斯坦-乌伦贝克（SSOU）模型。我们引入一种非马尔可夫性度量来量化序列中的记忆量。对于在该任务上训练的最小自回归（AR）学习模型，我们识别出对应于 SSOU 过程平稳态中不同相的两个学习机制。这些相源于控制序列统计的两个不同时间尺度之间的相互作用。此外，我们观察到，虽然增大 AR 模型的积分窗口总能提升性能（尽管收益递减），但增加输入序列的非马尔可夫性可能改善或恶化其性能。最后，我们使用循环与卷积神经网络进行实验，表明我们的观察可推广到更复杂的神经网络架构。