稀疏 Dueling Bandits
机器学习
2015-02-03 v1 机器学习
摘要
Dueling bandit 问题是经典多臂老虎机问题的一种变体，其中允许的动作是臂对之间的噪声比较。本文聚焦于一种利用噪声比较根据 Borda 准则寻找“最佳”臂的新方法。我们证明，在缺乏结构性假设的情况下，该问题的样本复杂度与每个次优臂和最佳臂的 Borda 分数之间逆平方间隙之和成正比。我们进一步探讨了这种依赖性，并考虑了成对比较矩阵的结构约束（该问题固有的一种特定稀疏形式），这可显著降低样本复杂度。这激发了一种名为“具有比较稀疏性的逐次消除”（Successive Elimination with Comparison Sparsity, SECS）的新算法，该算法利用稀疏性以比标准算法更少的样本找到 Borda 赢家。我们还使用合成数据和真实数据对新算法进行了实验评估。结果表明，稀疏模型和新算法相比标准方法能提供显著改进。
引用
@article{arxiv.1502.00133,
title = {Sparse Dueling Bandits},
author = {Kevin Jamieson and Sumeet Katariya and Atul Deshpande and Robert Nowak},
journal= {arXiv preprint arXiv:1502.00133},
year = {2015}
}