用随机初始化的学习优化器训练学习优化器
机器学习
2021-01-20 v1 神经与进化计算
摘要
学习优化器日益有效，其在特定任务上的性能已超过如 Adam~\citep{kingma2014adam} 等人工设计优化器 \citep{metz2019understanding}。尽管存在潜在的收益，在当前工作中，学习优化器的元训练（或“外训练”）由人工设计优化器执行，或由人工设计优化器训练出的优化器执行 \citep{metz2020tasks}。我们表明，一群随机初始化的学习优化器可用于以在线方式从零开始自我训练，过程中无需借助任何人工设计优化器。我们采用一种基于种群的训练形式来协调这种自我训练。尽管随机初始化的优化器初期进展缓慢，但随着它们改进，会经历正反馈循环，并迅速更有效地训练自身。我们认为此类优化器自我改进的反馈循环在未来机器学习中将是重要且强大的。这些方法不仅提供了通向更高性能的路径，更重要的是减轻了研究与工程负担。
引用
@article{arxiv.2101.07367,
title = {Training Learned Optimizers with Randomly Initialized Learned Optimizers},
author = {Luke Metz and C. Daniel Freeman and Niru Maheswaranathan and Jascha Sohl-Dickstein},
journal= {arXiv preprint arXiv:2101.07367},
year = {2021}
}