对抗性大数定律与在线分类中的最优后悔界
机器学习
2021-01-25 v1 密码学与安全
数据结构与算法
统计理论
机器学习
统计理论
摘要
大数定律保证，给定来自某总体足够大的样本，任何固定子总体的测度都能通过其在该样本中的频率得到良好估计。我们研究那些能够影响其所作用环境并与之交互的采样过程中的大数定律。具体地，我们考虑由 Ben-Eliezer 和 Yogev（2020）提出的序贯采样模型，并刻画了该模型中承认一致大数定律的类：这些恰好是可在线学习的类。我们的刻画可解释为统计（PAC）学习中可学习性与一致收敛性之间等价关系的在线类比。我们所获得的样本复杂度界在许多参数 regime 下是紧的，并且作为一个应用，我们确定了在线学习中的最优后悔界，以 Littlestone 维数表述，从而解决了 Ben-David、Pál 和 Shalev-Shwartz（2009）的主要开放问题，该问题也由 Rakhlin、Sridharan 和 Tewari（2015）提出。
引用
@article{arxiv.2101.09054,
title = {Adversarial Laws of Large Numbers and Optimal Regret in Online Classification},
author = {Noga Alon and Omri Ben-Eliezer and Yuval Dagan and Shay Moran and Moni Naor and Eylon Yogev},
journal= {arXiv preprint arXiv:2101.09054},
year = {2021}
}