解耦的相对学习率调度
机器学习
2025-07-08 v1
摘要
在这项工作中，我们引入了一种新颖的方法，通过调整Transformer模型中不同组件权重的学习率来优化LLM训练。传统方法通常对所有网络层应用统一的学习率，可能忽略了每个部分的独特动态。值得注意的是，我们引入的相对学习率（RLRS）方法可将训练过程加速高达23%，特别是在混合专家（MoE）等复杂模型中。RLRS的超参数可以在较小的模型上高效调整，然后有效地复用于大至27倍的模型上。这种简单有效的方法可大幅减少训练时间和计算资源，为优化大规模神经网络提供了一种实用且可扩展的解决方案。
引用
@article{arxiv.2507.03526,
title = {Decoupled Relative Learning Rate Schedules},
author = {Jan Ludziejewski and Jan Małaśnicki and Maciej Pióro and Michał Krutul and Kamil Ciebiera and Maciej Stefaniak and Jakub Krajewski and Piotr Sankowski and Marek Cygan and Kamil Adamczewski and Sebastian Jaszczur},
journal= {arXiv preprint arXiv:2507.03526},
year = {2025}
}