可实现设定下实用且可证明正确的交互学习：真信徒的力量
机器学习
2021-11-10 v1 机器学习
摘要
我们考虑可实现设定下的交互学习，并开发一个通用框架来处理从最优臂识别到主动分类的问题。我们的研究始于一个观察：不可知算法在可实现设定下不能达到极小极大最优。因此，我们为可实现设定设计了新颖的计算高效算法，其匹配极小极大下界直至对数因子，并且是通用的，可容纳各种各样的函数类，包括核方法、Hölder光滑函数和凸函数。我们算法的样本复杂度可以用扩展教学维数和干草堆维数等知名量来量化。然而，与直接基于这些组合量的算法不同，我们的算法计算高效。为实现计算效率，我们的算法使用蒙特卡洛“hit-and-run”算法从版本空间中采样，而非显式维护版本空间。我们的方法有两个关键优势。首先，它简单，由两个统一的贪心算法组成。其次，我们的算法能够无缝利用实践中经常可用且有用的先验知识。除了我们的新理论结果外，我们还通过实验证明我们的算法与高斯过程UCB方法具有竞争力。
引用
@article{arxiv.2111.04915,
title = {Practical, Provably-Correct Interactive Learning in the Realizable Setting: The Power of True Believers},
author = {Julian Katz-Samuels and Blake Mason and Kevin Jamieson and Rob Nowak},
journal= {arXiv preprint arXiv:2111.04915},
year = {2021}
}