中文

置换多面体上的在线赌博优化

机器学习 2014-07-08 v2

摘要

置换多面体是一个凸多胞形,其顶点集由所有 {1,,n}\{1,\dots, n\} 上的置换(双射)π\pi 对应的向量 (π(1),,π(n))(\pi(1),\dots, \pi(n)) 组成。我们研究了一种赌博游戏,其中在每一步 tt,对手选择一个隐藏的权重向量 sts_t,玩家选择一个置换多面体的顶点 πt\pi_t 并承受 i=1nπ(i)st(i)\sum_{i=1}^n \pi(i) s_t(i) 的观测损失。Cesa-Bianchi 等人 (2009) 先前的 CombBand 算法保证了在时间范围 TT 内的遗憾为 O(nTlogn)O(n\sqrt{T \log n})。不幸的是,CombBand 在每一步都需要对 nnnn 矩阵的积和式进行近似,且随着 TT 的增长需要更高的精度,导致总运行时间在 TT 上呈超线性,使其在大时间范围下不切实际。我们提供了一种遗憾为 O(n3/2T)O(n^{3/2}\sqrt{T}) 且总时间复杂度为 O(n3T)O(n^3T) 的算法。这些思想结合了 CombBand 和 Ailon (2013) 提出的一种用于全信息设定下置换多面体在线优化的近期算法。技术核心是对 Plackett-Luce 噪声排序过程的“伪损失”方差的界限。该界限是通过建立由三个参数的指数有理函数生成的一系列 3 乘 3 矩阵的正半定性而获得的。

关键词

引用

@article{arxiv.1312.1530,
  title  = {Bandit Online Optimization Over the Permutahedron},
  author = {Nir Ailon and Kohei Hatano and Eiji Takimoto},
  journal= {arXiv preprint arXiv:1312.1530},
  year   = {2014}
}