基于对数深度循环单元的长度广义
机器学习
2026-05-26 v1
摘要
长度广义是神经网络面临的持久挑战:循环模型容易受到位置偏置的影响,而Transformer受限于固定计算深度。正则语言常被用作评估长度广义的测试基准,因为标签预测可以针对任意序列长度进行检查。我们提出了MLP-LDRU,即一种Log-Depth循环单元,它捕获一类关联偏置算子,通过并行归约来近似 recurrence。我们在21个正则语言任务上评估了MLP-LDRU,包括标准基准和新的前缀语言,在增加最大训练长度后,在18个任务上实现100%的out-of-distribution准确率,在剩余3个任务上至少达到99.9%,超越了可比较的循环和注意力模型。我们进一步在ListOps和NLP分类基准上评估了MLP-LDRU,其表现竞争力十足。
引用
@article{arxiv.2605.26035,
title = {Length Generalization with Log-Depth Recurrent Units},
author = {Charles Pert and Dalal Alrajeh and Alessandra Russo},
journal= {arXiv preprint arXiv:2605.26035},
year = {2026}
}
备注
39 pages, 11 figures