通过重构与插值构建替代损失的统一框架
计算机视觉与模式识别
2020-07-29 v1 机器学习
摘要
我们提出 UniLoss,一个用于生成替代损失(surrogate loss)以通过梯度下降训练深度网络的统一框架,减少了针对任务手动设计替代损失的工作量。我们的关键观察是,在许多情况下,在一个批次样本上用性能指标评估模型可重构为四个步骤:从输入到实值分数,从分数到成对分数比较,从比较到二值变量,以及从二值变量到最终性能指标。利用该重构,我们通过插值对每个不可微步骤生成可微近似。使用 UniLoss,我们可以用一个统一框架优化不同任务和指标,取得与特定任务损失相当的性能。我们在三个任务和四个数据集上验证了 UniLoss 的有效性。代码见 https://github.com/princeton-vl/uniloss。
引用
@article{arxiv.2007.13870,
title = {A Unified Framework of Surrogate Loss by Refactoring and Interpolation},
author = {Lanlan Liu and Mingzhe Wang and Jia Deng},
journal= {arXiv preprint arXiv:2007.13870},
year = {2020}
}
备注
Accepted to ECCV 2020