MTAdam：多训练损失项的自动平衡
机器学习
2020-06-29 v1 机器学习
摘要
训练神经模型时，常需组合多个损失项。这些项的平衡需要大量人工调参且计算开销大。此外，损失项间的最优权衡可随训练推进而改变，尤其对于对抗性项。本工作中，我们推广 Adam 优化算法以处理多个损失项。其指导原则是：对每一层，各项的梯度幅值应被平衡。为此，多术语 Adam（MTAdam）分别计算每个损失项的导数，推断每个参数与损失项的一阶与二阶矩，并计算由各损失产生的每层梯度幅值的一阶矩。该幅值用于在所有层间持续平衡梯度，其方式既逐层不同又随时间动态变化。我们的结果表明，使用新方法的训练能从次优初始损失加权中快速恢复，并达到与按各方法预设超参数常规训练相匹配的训练结果。
引用
@article{arxiv.2006.14683,
title = {MTAdam: Automatic Balancing of Multiple Training Loss Terms},
author = {Itzik Malkiel and Lior Wolf},
journal= {arXiv preprint arXiv:2006.14683},
year = {2020}
}