高效追踪不断增长的专家集合
机器学习
2017-09-01 v1 机器学习
摘要
我们考虑一个带有专家建议的预测问题的变体，其中每一轮都可能出现此前未知的新预测者。正如常见的带有专家建议的预测问题一样，通过聚合专家来设计一个实现近最优遗憾保证的算法是直接的。然而，当比较类足够丰富时，例如当最佳专家和专家集合本身随时间变化时，这类策略天真地需要维持数量庞大的权重（通常随时间范围呈指数增长）。相比之下，设计既能实现近最优遗憾又能维持合理权重数量的策略则远非平凡。我们考虑三个难度递增的目标（简单遗憾、漂移遗憾和稀疏漂移遗憾），它们扩展了为固定专家集合定义的现有概念；在每种情况下，我们都设计了能实现紧遗憾界、对比较类参数自适应且计算开销低的策略。此外，我们的算法是随时可用的，对新进专家数量不敏感，且完全无参数。这些显著成果得益于两个简单但高效的技巧：首先是源自专家框架的“弃权技巧”，它能够处理最不具挑战性的遗憾概念，但在应对更复杂目标时存在局限。其次是我们引入的“静音技巧”，以提供更大的灵活性。我们展示了如何结合这两种技巧，以处理最具挑战性的比较策略类。
引用
@article{arxiv.1708.09811,
title = {Efficient tracking of a growing number of experts},
author = {Jaouad Mourtada and Odalric-Ambrym Maillard},
journal= {arXiv preprint arXiv:1708.09811},
year = {2017}
}
备注
To appear in Proceedings of the 28th International Conference on Algorithmic Learning Theory (ALT 2017)