分离函数类的在线学习小损失界：高斯过程视角
机器学习
2025-02-17 v1 机器学习
摘要
为了在避免过于悲观的计算下界的同时开发实用高效的算法，近期研究在多种学习设置中对预言机高效算法产生了兴趣。其中两个特别值得关注的设置是在线学习和差分隐私学习。尽管看似不同，这两个领域通过成功算法需满足稳定性保证这一要求而根本相连；特别是，近期研究已表明，在在线学习中其性能适应有利问题实例、达到所谓小损失界的算法，需要一种与差分隐私类似的稳定性形式。在本工作中，我们识别出分离在允许预言机高效算法实现这种强稳定性方面的关键作用。我们的概念——即ρ-分离——概括并统一了多种先前用于强制这种强稳定性的方法，包括小分离集的存在以及近期的γ-可近似性概念。我们提出了一种预言机高效算法，能够在比先前工作更一般的条件下以改进的速率达到小损失界，以及一个差分隐私学习的变体，在我们的分离条件下再次达到最优速率。在此过程中，我们证明了高斯过程极小值点的一个新稳定性结果，该结果加强并推广了先前的工作。
引用
@article{arxiv.2502.10292,
title = {Small Loss Bounds for Online Learning Separated Function Classes: A Gaussian Process Perspective},
author = {Adam Block and Abhishek Shetty},
journal= {arXiv preprint arXiv:2502.10292},
year = {2025}
}