使用全能预测器不可知地学习单指标模型
机器学习
2023-06-21 v1 数据结构与算法
机器学习
摘要
我们给出了针对具有任意单调且Lipschitz激活函数的单指标模型（SIMs）进行不可知学习的第一项结果。所有先前的工作要么仅适用于可实现设定，要么要求激活函数已知。此外，我们仅要求边际具有有界二阶矩，而所有先前的工作都需要更强的分布假设（如反集中或有界性）。我们的算法基于[GHK23]近期关于使用满足校准多重准确性的预测器进行全能预测的工作。我们的分析简洁，并依赖于Bregman散度（或匹配损失）与距离之间的关系。我们还提供了在标准算法（如GLMtron与逻辑回归）于不可知设定下的新保证。
引用
@article{arxiv.2306.10615,
title = {Agnostically Learning Single-Index Models using Omnipredictors},
author = {Aravind Gollakota and Parikshit Gopalan and Adam R. Klivans and Konstantinos Stavropoulos},
journal= {arXiv preprint arXiv:2306.10615},
year = {2023}
}
备注
21 pages