面向一般非模损失函数的凸代理算子
机器学习
2016-04-13 v1 机器学习
摘要
经验风险最小化经常采用凸代理来替代底层的离散损失函数，以在优化过程中实现计算易处理性。然而，经典凸代理只能分别紧密界定模函数、子模函数或超模函数，同时保持多项式时间计算。本工作引入了一种针对一般非模损失函数的新型通用凸代理，首次为既非超模也非子模的损失函数提供了易处理的解决方案。该凸代理基于子模-超模分解，本文证明了该分解的存在性与唯一性。它取两个凸代理之和，分别使用松弛缩放（slack-rescaling）和Lovász铰链（Lovász hinge）来界定超模分量和子模分量。进一步证明该代理是凸的、分段线性的、损失函数的扩展，并且其亚梯度计算为多项式时间。报告了基于Sørensen-Dice差分函数的非子模损失以及具有数万帧的真实世界人脸跟踪数据集上的经验结果，展示了新型凸代理改进的性能、效率和可扩展性。
引用
@article{arxiv.1604.03373,
title = {A Convex Surrogate Operator for General Non-Modular Loss Functions},
author = {Jiaqian Yu and Matthew Blaschko},
journal= {arXiv preprint arXiv:1604.03373},
year = {2016}
}
备注
in The 19th International Conference on Artificial Intelligence and Statistics, May 2016, Cadiz, Spain