论可计算在线学习
机器学习
2023-02-10 v1 机器学习
摘要
我们开启了对可计算在线（c-online）学习的研究，并在不同的“最优性”要求（以错误界衡量）下对其进行分析。我们的主要贡献是给出最优 c-online 学习的充要条件，并表明 Littlestone 维数不再刻画 c-online 学习的最优错误界。此外，我们引入随时最优（a-optimal）在线学习，这是对“最优性”更自然的概念化，也是 Littlestone 标准最优算法的推广。我们展示了 a-optimal 与最优在线学习之间存在计算分离，证明 a-optimal 在线学习在计算上更困难。最后，我们考虑无最优性要求的在线学习，并在较弱的可计算性概念下表明，Littlestone 维数的有限性不再刻画一个类是否可用有限错误界进行 c-online 学习。通过探索 c-online 与 CPAC 学习之间的关系（我们证明 c-online 学习与 improper CPAC 学习同样困难），我们提出了强化该结果的一个潜在途径。
引用
@article{arxiv.2302.04357,
title = {On Computable Online Learning},
author = {Niki Hasrati and Shai Ben-David},
journal= {arXiv preprint arXiv:2302.04357},
year = {2023}
}
备注
To appear in the 34th International Conference on Algorithmic Learning Theory (ALT), 2023