状态空间约束能改善可微分神经计算机对未见长度输入序列的泛化
机器学习
2025-11-18 v2 神经与进化计算
摘要
记忆增强神经网络（MANN）可以执行排序等算法任务。然而，它们通常无法泛化到训练期间未遇到的输入序列长度。我们引入了两种约束 MANN 控制器网络状态空间的方法：状态压缩和状态正则化。我们实证证明，对于一种特定类型的 MANN——可微分神经计算机（DNC），这两种方法都可以改善对非分布长度输入序列的泛化。受约束的 DNC 能够处理比无约束基线控制器网络处理的序列长 2.3 倍的输入序列。值得注意的是，所应用的约束使得无需重新训练即可扩展 DNC 的记忆矩阵，从而允许处理长 10.4 倍的输入序列。然而，这种改进在所有测试的算法任务中并不一致。有趣的是，表现更好的解通常具有高度结构化的状态空间，其特征是状态轨迹表现出增加的曲率和环状模式。我们的实验工作表明，状态空间约束可以使用较短的输入序列训练 DNC，从而节省计算资源，并在获取长序列成本高昂时促进训练。
引用
@article{arxiv.2110.09138,
title = {State-Space Constraints Can Improve the Generalisation of the Differentiable Neural Computer to Input Sequences With Unseen Length},
author = {Patrick Ofner and Roman Kern},
journal= {arXiv preprint arXiv:2110.09138},
year = {2025}
}