u-$\mu$P：单位缩放最大更新参数化
机器学习
2025-01-13 v3
摘要
最大更新参数化(P)旨在使模型的最优超参数(HPs)独立于其规模，允许其使用廉价的代理模型而非完整的目标模型进行扫描。我们提出了新的方案u-P，通过将其与单位缩放相结合来实现改进。单位缩放是一种设计模型的方法，使其在低精度下易于训练。这两种技术具有天然的亲和性：P确保激活的规模独立于模型规模，单位缩放确保激活、权重和梯度在训练开始时具有规模为1的特征。这一综合为更简单的方法开辟了道路，其默认值接近最优。这反过来促进了更有效的扫描策略，u-P模型在损失上等于或低于相当的P模型，并在FP8中开箱即用。
引用
@article{arxiv.2407.17465,
title = {u-$\mu$P: The Unit-Scaled Maximal Update Parametrization},
author = {Charlie Blake and Constantin Eichenberg and Josef Dean and Lukas Balles and Luke Y. Prince and Björn Deiseroth and Andres Felipe Cruz-Salinas and Carlo Luschi and Samuel Weinbach and Douglas Orr},
journal= {arXiv preprint arXiv:2407.17465},
year = {2025}
}
备注
55 pages