面向光滑代理损失学习的通用增长率
机器学习
2024-07-09 v2 机器学习
摘要
本文对各种用于分类的光滑边际基函数损失 (surrogate losses) 的 H-一致性界限 (以及剩余误差界限) 的增长率进行了全面分析。我们证明了在二进制分类中，光滑边际基函数损失在零近处呈现平方根增长率，给出了在温和假设下的上界和下界。该结果也适用于剩余误差界限。我们的下界所需条件比先前工作中用于剩余误差界限的条件更弱，而我们的上界则全新。此外，我们将此分析扩展到多类分类，提出一系列新结果，表明光滑 comp-sum 和受限损失在零近处具有通用的平方根增长率，涵盖了多类分类中训练神经网络的常见选择。鉴于此通用速率，我们转而问：在不同代理损失之间如何选择？我们首先检视 H-一致性界限在不同代理损失中的差异，这些损失基于类别的数量。接下来，忽略常数并关注零近处的行为，我们确定 minimizability 间隙是这些界限的关键区分因素。因此，我们彻底分析这些间隙，以指导代理损失选择：包括不同 comp-sum 损失之间的比较、间隙为零的情况以及导致小间隙的一般条件。此外，我们展示了 minimizability 间隙在比较剩余误差界限和 H-一致性界限中的关键作用。
引用
@article{arxiv.2405.05968,
title = {A Universal Growth Rate for Learning with Smooth Surrogate Losses},
author = {Anqi Mao and Mehryar Mohri and Yutao Zhong},
journal= {arXiv preprint arXiv:2405.05968},
year = {2024}
}