SoftAdapt：用于具有多部分损失函数神经网络的自适应损失加权技术
机器学习
2020-01-01 v1 最优化与控制
机器学习
摘要
自适应损失函数构造是一个活跃的研究领域，并随着深度学习的成功在近年来广受欢迎。然而，现有的自适应损失函数框架常受限于收敛缓慢以及对损失分量权重选择不佳。传统上，多部分损失函数的各项被等权加权，或其权重通过启发式方法确定，得到近最优（或次优）结果。为解决该问题，我们提出一类称为 SoftAdapt 的方法，其基于分量损失的实时性能统计动态地改变多部分损失函数的函数权重。SoftAdapt 在数学上直观、计算高效且易于实现。在本文中，我们给出 SoftAdapt 的数学公式与伪代码，以及将我们的方法应用于图像重建（稀疏自编码器）与合成数据生成（自省变分自编码器）的结果。
引用
@article{arxiv.1912.12355,
title = {SoftAdapt: Techniques for Adaptive Loss Weighting of Neural Networks with Multi-Part Loss Functions},
author = {A. Ali Heydari and Craig A. Thompson and Asif Mehmood},
journal= {arXiv preprint arXiv:1912.12355},
year = {2020}
}
备注
8 pages with 2 pages of references. 6 Figures and 3 Tables