多分类学习的普适收敛速率
摘要
我们研究了多分类的普适收敛速率，为所有假设类建立了最优速率（相差对数因子）。这推广了先前关于二分类的结果（Bousquet, Hanneke, Moran, van Handel, and Yehudayoff, 2021），并解决了 Kalavasis, Velegkas, and Karbasi (2022) 研究的一个开放问题，他们处理了标签类别数有界的多分类设定。相比之下，我们的结果适用于任意可数标签空间。即使对于有限标签空间，我们的证明给出了对学习曲线更精确的界，因为它们不依赖于标签数量。具体而言，我们证明任何类当且仅当没有无限 Littlestone 树时具有指数速率，当且仅当没有无限 Daniely-Shalev-Shwartz-Littleston (DSL) 树时具有（近）线性速率，否则需要任意慢的速率。DSL 树是我们在这项工作中定义的一种新结构，其中树的每个节点由给定点集的可能分类的伪立方体给出。伪立方体是一种结构，源于 Daniely and Shalev-Shwartz (2014) 的工作，且最近由 Brukhim, Carmon, Dinur, Moran, and Yehudayoff (2022) 证明可刻画多分类的 PAC 可学习性（即一致速率）。我们还解决了 Kalavasis, Velegkas, and Karbasi (2022) 关于具有无限 Graph-Littlestone (GL) 树与无限 Natarajan-Littlestone (NL) 树的类之等价性的开放问题，表明它们确实是等价的。
引用
@article{arxiv.2307.02066,
title = {Universal Rates for Multiclass Learning},
author = {Steve Hanneke and Shay Moran and Qian Zhang},
journal= {arXiv preprint arXiv:2307.02066},
year = {2023}
}
备注
67 pages, accepted to the 36th Annual Conference on Learning Theory (COLT 2023)