中文

从 PAC 到 Plackett-Luce 模型中的实例最优样本复杂度

机器学习 2020-02-28 v2 机器学习

摘要

我们考虑从 Plackett-Luce 概率模型中采样的 kk-子集反馈信息中 PAC 学习一个好物品,具有依赖于实例的样本复杂度表现。在可测试固定大小子集且向学习器提供排名最高反馈的设置下,我们给出一种算法,其对于 PAC 最优臂辨识具有最优的实例依赖样本复杂度:O(θ[k]ki=2nmax(1,1Δi2)lnkδ(ln1Δi))O\bigg(\frac{\theta_{[k]}}{k}\sum_{i = 2}^n\max\Big(1,\frac{1}{\Delta_i^2}\Big) \ln\frac{k}{\delta}\Big(\ln \frac{1}{\Delta_i}\Big)\bigg),其中 Δi\Delta_i 为最佳物品与第 ii 佳物品之间的 Plackett-Luce 参数间隙,θ[k]\theta_{[k]} 为前 kk 个物品的 Plackett-Luce 参数之和。该算法基于对一个具有较弱性能保证的 PAC 胜者寻找算法的封装,以适配输入实例的困难度。还表明样本复杂度根据每次子集试验中可用的排序反馈长度在乘法意义上更优。我们通过匹配的采样复杂度下界证明算法的最优性。接下来我们处理固定预算设置下 Plackett-Luce 模型中的胜者寻找问题,给出误识别概率的实例依赖上界与下界,对于给定预算 QQΩ(exp(2Δ~Q))\Omega\left(\exp(-2 \tilde \Delta Q) \right),其中 Δ~\tilde \Delta 为显式的实例依赖问题复杂度参数。我们还给出了数值性能结果。

关键词

引用

@article{arxiv.1903.00558,
  title  = {From PAC to Instance-Optimal Sample Complexity in the Plackett-Luce Model},
  author = {Aadirupa Saha and Aditya Gopalan},
  journal= {arXiv preprint arXiv:1903.00558},
  year   = {2020}
}

备注

56 pages, 17 figures