BABYLM 最佳序列长度是多少？
计算与语言
2025-10-23 v1
摘要
Transformer 语言模型通常以固定长度的上下文窗口运行，这种窗口长度随大规模预训练数据集的增长而增长。在 BabyLM 挑战中，然而，许多过去的提交默认使用 much shorter 的序列长度。我们检查序列长度对 BabyLM 预训练的影响，以回答一个简单的问题：在训练 Baby LM 时，我们应该使用什么样的序列长度？在 10 亿词训练数据和固定计算预算下，我们比较 12.5 亿参数的 Mamba 和 OPT 模型，发现虽然更长的序列通常更好，但最佳长度取决于任务和架构。较短的序列对语法泛化任务足够，而更长的上下文有助于形态学类比推理任务。
关键词
引用
@article{arxiv.2510.19493,
title = {What is the Best Sequence Length for BABYLM?},
author = {Suchir Salhan and Richard Diehl Martinez and Zébulon Goriely and Paula Buttery},
journal= {arXiv preprint arXiv:2510.19493},
year = {2025}
}
备注
Paper Accepted at the 2025 BabyLM Workshop @ EMNLP (Suzhou, China)