使用简单预测器的在线学习及 0/1 博弈中极小极大的组合刻画
机器学习
2021-02-03 v1 数据结构与算法
计算机科学与博弈论
机器学习
摘要
哪些类别可在在线模型中恰当学习？——即由每轮使用概念类中预测器的算法学习。尽管存在需要非恰当学习的简单自然情形，自然要问此类情形中非恰当预测器必须多复杂。能否总用“简单”预测器实现近最优错误/遗憾界？本工作给出此问题何时可能的完整刻画，从而解决了自 Angluin（1987）与 Littlestone（1988）开创性工作以来被研究的一个开放问题。更精确地，给定任意概念类 C 与任意假设类 H，我们提供使用来自 H 的预测器在线学习 C 的最优错误界近乎紧的界（至对数因子）。我们的界相较 Chase 与 Freitag（2020）先前已知最优界有指数级改进。作为应用，我们给出构造性证明表明（i）在实现性设定下，近最优错误界（至常数因子）可由恰当预测器的稀疏多数投票达到；（ii）在不可知设定下，近最优遗憾界（至对数因子）可由随机化恰当算法达到。我们证明中一个可能具独立兴趣的技术成分是二元零和博弈中著名极小极大定理（von Neumann，1928）的推广。一个不满足极小极大的简单博弈是“猜较大数”，其中每名玩家选一个数，较大者胜。其收益矩阵为无限三角阵。我们表明此为唯一阻碍：若一博弈不含无界大小的三角子矩阵，则极小极大定理成立。这通过去除有限性（或紧性）要求推广了 von Neumann 极小极大定理，并精确刻画了在线学习中关注的博弈。
引用
@article{arxiv.2102.01646,
title = {Online Learning with Simple Predictors and a Combinatorial Characterization of Minimax in 0/1 Games},
author = {Steve Hanneke and Roi Livni and Shay Moran},
journal= {arXiv preprint arXiv:2102.01646},
year = {2021}
}