量化凸但不一致代理函数的学习保证
机器学习
2019-01-10 v2 人工智能
机器学习
摘要
我们研究了基于最小化凸代理函数机器学习方法的一致性性质。我们将 Osokin 等人（2017）近期用于一致性性质定量分析的框架推广到不一致代理函数的情况。我们的关键技术贡献在于给出了二次代理函数校准函数的一个新的下界，该下界在不一致情形下是非平凡的（不恒为零）。这一新下界能够量化该设定不一致的程度，并表明使用不一致代理函数学习可以在样本复杂度和优化难度上获得保证。我们将理论应用于两个具体案例：具有树结构损失的多类分类，以及具有平均精度均值损失排序。结果显示了由不一致代理函数引起的近似-计算权衡及其潜在益处。
引用
@article{arxiv.1810.11544,
title = {Quantifying Learning Guarantees for Convex but Inconsistent Surrogates},
author = {Kirill Struminsky and Simon Lacoste-Julien and Anton Osokin},
journal= {arXiv preprint arXiv:1810.11544},
year = {2019}
}
备注
Appears in: Advances in Neural Information Processing Systems 31 (NeurIPS 2018). 18 pages