学习替代损失函数
机器学习
2019-05-27 v1 机器学习
摘要
损失函数的最小化是机器学习的灵魂所在。在本文中，我们提出一种现成可用的优化方法，能够无缝最小化几乎任意不可微且不可分解的损失函数（例如误分类率、AUC、F1、Jaccard 指数、Mathew 相关系数等）。我们的策略通过替代神经网络逼近真实损失，学习其平滑松弛版本。所提出的损失网络是集合式模型，对 mini-batch 实例的顺序保持不变性。最终，替代损失通过双层优化与预测模型联合学习。在多个具有不同现实损失函数的数据集上与最先进基线的实证结果展示了学习替代损失的有效性。
引用
@article{arxiv.1905.10108,
title = {Learning Surrogate Losses},
author = {Josif Grabocka and Randolf Scholz and Lars Schmidt-Thieme},
journal= {arXiv preprint arXiv:1905.10108},
year = {2019}
}