Gecko：一种高效神经网络架构，能固有地处理任意长度的序列
机器学习
2026-01-13 v1 计算与语言
摘要
设计一种统一的神经网络，高效且固有地处理任意长度的序列数据，是序列建模中的核心且具有挑战性的问题。Transformer 的设计选择，包括二次时间复杂度和较弱的长度外推能力，限制了其在长序列上的扩展能力。在本工作中，我们提出了 Gecko，一种神经网络架构，继承了 Mega 和 Megalodon（指数移动平均与门控注意力）的设计，并进一步引入了多个技术组件来提高其捕获长程依赖的能力，包括时间步衰减归一化、滑动块注意力机制以及自适应工作记忆。在 70 亿参数规模和 2 万亿训练标记的规模下，对 Llama2 和 Megalodon 进行受控预训练对比，Gecko 在效率和长程上下文可扩展性方面表现更佳。Gecko 达到了训练损失 1.68，显著优于 Llama2-7B（1.75）和 Megalodon-7B（1.70），接近 Llama2-13B（1.67）。值得注意的是，Gecko 在不依赖任何上下文扩展技术的情况下，展现出固有的长程上下文处理和检索能力，稳定地处理最长达 400 万标记的序列，并从上下文中检索信息，这些上下文的长度是其注意力窗口的 。代码：https://github.com/XuezheMax/gecko-llm
关键词
引用
@article{arxiv.2601.06463,
title = {Gecko: An Efficient Neural Architecture Inherently Processing Sequences with Arbitrary Lengths},
author = {Xuezhe Ma and Shicheng Wen and Linghao Jin and Bilge Acun and Ruihang Lai and Bohan Hou and Will Lin and Hao Zhang and Songlin Yang and Ryan Lee and Mengxi Wu and Jonathan May and Luke Zettlemoyer and Carole-Jean Wu},
journal= {arXiv preprint arXiv:2601.06463},
year = {2026}
}
备注
13 pages, 5 figure and 3 tables