AutoLoss：学习用于交替优化的离散调度
机器学习
2018-10-08 v1 机器学习
摘要
许多机器学习问题涉及针对不同的参数集合迭代且交替地优化不同的任务目标。恰当地调度某一任务目标或某一参数集合的优化，通常对收敛质量至关重要。本文提出 AutoLoss，一种自动学习并确定优化调度的元学习框架。AutoLoss 提供了一种通用方法，从元数据中表示并学习离散优化调度，为涉及不同参数或不同损失目标交替更新的机器学习问题提供了动态的、数据驱动的调度。我们将 AutoLoss 应用于四项机器学习任务：d 元二次回归、使用多层感知机（MLP）的分类、使用 GAN 的图像生成，以及多任务神经机器翻译（NMT）。我们表明，AutoLoss 控制器能够捕捉更优优化调度的分布，从而在全部四项任务上获得更高质量的收敛。训练好的 AutoLoss 控制器具有泛化性——它可以指导并改进具有不同配置或在不同数据集上的新任务模型的学习。
引用
@article{arxiv.1810.02442,
title = {AutoLoss: Learning Discrete Schedules for Alternate Optimization},
author = {Haowen Xu and Hao Zhang and Zhiting Hu and Xiaodan Liang and Ruslan Salakhutdinov and Eric Xing},
journal= {arXiv preprint arXiv:1810.02442},
year = {2018}
}
备注
19-pages manuscripts. The first two authors contributed equally