AdaLRS：面向高效基础模型预训练的损失引导自适应学习率搜索

学习率被广泛认为是有效的基础模型预训练的关键。近期研究探索并展示了学习率配置在不同模型和数据集规模等条件下的可迁移性。然而，这些方法受限于特定的训练场景，通常需要在代理模型上进行大量的超参数调优。在本工作中，我们提出 AdaLRS，即一种即插即用的自适应学习率搜索算法，通过优化损失下降速度在线执行最优学习率搜索。我们提供了理论和实验分析，表明基础模型预训练损失及其下降速度均为凸函数，且共享相同的最优学习率。仅依赖训练损失动态，AdaLRS 在引导搜索过程中仅需少量额外计算，其收敛性已通过理论分析得到保证。在大语言模型和视觉语言模型预训练上的实验表明，AdaLRS 能够以显著的效率和有效性将次优学习率调整至最优邻域，模型性能随之得到改善。我们还展示了 AdaLRS 在不同训练场景下的鲁棒泛化能力，例如不同的模型规模、训练范式、基础学习率调度器选择以及超参数设置。