超越余弦衰减：无限学习率计划用于持续预训练的有效性研究

未标记数据的持续增长为训练人工智能系统带来了机遇和挑战。虽然自监督学习（SSL）已成为从大量未标记数据中提取有意义表示的强大范式，但现有方法仍然难以适应真实世界数据流的非平稳、非独立同分布特性，同时不遗忘先前学到的知识。近期工作采用了重复的余弦退火计划用于大规模持续预训练；然而，这些计划（1）在重新升温阶段固有地导致遗忘，（2）尚未与现有的持续SSL方法进行系统性比较。在这项工作中，我们系统地将广泛使用的余弦计划与近期提出的无限学习率计划进行了比较，并从实证上发现后者是更有效的替代方案。我们在多样化的图像和语言数据集上进行了广泛的实证评估，结果表明无限学习率计划在持续预训练中始终优于重复余弦衰减，且不受固定迭代预算的限制。例如，在小规模MAE预训练设置中，它优于文献中的多个强基线方法。随后我们将实验扩展到更大规模的MAE预训练和自回归语言模型预训练。结果表明，无限学习率计划在大规模下仍然有效，在MAE预训练和零样本语言模型基准测试中均超越了重复余弦衰减。