Celo：在计算资源受限下训练通用学习型优化器
机器学习
2025-06-23 v2
摘要
学习型优化器作为手工优化器的有前景的替代方案，旨在发现更强的学习型更新规则，从而实现更快的、无需调参的神经网络训练。对于可即插即用（off-the-shelf）的学习型优化器而言，强大的 meta-generalization 是关键要素：即能够将优化器应用于新任务。最近的领先工作 VeLO（Metz 等人，2022）需要大量高度多样化的 meta-training 任务以及巨大的计算资源（4000 个 TPU 月）才能实现 meta-generalization。这使得进一步改进此类学习型优化器变得不切实际。在本工作中，我们识别出学习型优化器架构和 meta-training 程序的若干关键要素，这些要素可导致强大的 meta-generalization。我们还提出了评估指标，以在大规模评估任务集上可靠地衡量优化器的定量性能。我们提出的方法称为 Celo，在提升学习型优化器 meta-generalization 性能方面实现了显著跃进，并且在 diverse 的 out-of-distribution 任务上超过了调谐好的领先优化器，尽管仅进行 24 小时 GPU meta-training。
引用
@article{arxiv.2501.12670,
title = {Celo: Training Versatile Learned Optimizers on a Compute Diet},
author = {Abhinav Moudgil and Boris Knyazev and Guillaume Lajoie and Eugene Belilovsky},
journal= {arXiv preprint arXiv:2501.12670},
year = {2025}
}