面向正则化分割损失的超越梯度下降方法
机器学习
2019-04-30 v2 机器学习
摘要
梯度下降（GD）的简单性使其成为训练日益深层和复杂神经网络的默认方法。损失函数和架构通常都被显式地调整以适配这种基本的局部优化。在弱监督 CNN 分割的背景下，我们展示了一种动机充分的损失函数，其中另一种优化器（ADM）取得了最先进性能，而 GD 表现不佳。有趣的是，GD 在损失函数“更平滑”的调参下获得了其最佳结果。该结果在不同的网络架构下是一致的。我们的损失函数受“浅层”分割中已被充分理解的 MRF/CRF 正则化模型及其已知全局求解器的启发。我们的工作表明，网络设计/训练应更多地关注优化方法。
引用
@article{arxiv.1809.02322,
title = {Beyond Gradient Descent for Regularized Segmentation Losses},
author = {Dmitrii Marin and Meng Tang and Ismail Ben Ayed and Yuri Boykov},
journal= {arXiv preprint arXiv:1809.02322},
year = {2019}
}
备注
https://github.com/dmitrii-marin/adm-seg