中文

化不可能为可能:一种新专家算法及其应用

机器学习 2021-11-05 v3 计算复杂性

摘要

我们解决了经典专家问题中长期存在的“不可能调谐”问题,并表明事实上可以在TTdd专家问题中对所有专家ii同时实现遗憾O((lnd)tt,i2)O\left(\sqrt{(\ln d)\sum_t \ell_{t,i}^2}\right),其中t,i\ell_{t,i}为第tt轮专家ii的损失。我们的算法基于带修正项和加权熵正则化器的镜像下降框架。尽管自然,该算法此前未被研究且需要细致分析。我们还将界推广到O((lnd)t(t,imt,i)2)O\left(\sqrt{(\ln d)\sum_t (\ell_{t,i}-m_{t,i})^2}\right),适用于学习器接收到的任意预测向量mtm_t,并通过选择不同的mtm_t恢复或改进许多现有结果。此外,我们使用同一框架创建了一种主算法,其组合一组基算法并以极小开销学习最优者。我们主算法的新保证使我们能为专家问题及更一般的在线线性优化推导许多新结果。

关键词

引用

@article{arxiv.2102.01046,
  title  = {Impossible Tuning Made Possible: A New Expert Algorithm and Its Applications},
  author = {Liyu Chen and Haipeng Luo and Chen-Yu Wei},
  journal= {arXiv preprint arXiv:2102.01046},
  year   = {2021}
}