中文

分组线性可分情形下的Bandit多类线性分类

机器学习 2021-09-01 v2 机器学习

摘要

我们考虑bandit反馈设定下的在线多类线性分类。Beygelzimer, Pál, Szörényi, Thiruvenkatachari, Wei和Zhang [ICML'19]考虑了两种线性可分性概念,弱线性可分和强线性可分。当样本以间隔 γ\gamma 强线性可分时,他们提出了一种基于多类感知机(Multiclass Perceptron)的算法,其错误界为 O(K/γ2)O(K/\gamma^2),其中 KK 为类别数。他们采用有理核(rational kernel)处理弱线性可分条件下的样本,并得到了 min(K2O~(Klog2(1/γ)),K2O~(1/γlogK))\min(K\cdot 2^{\tilde{O}(K\log^2(1/\gamma))},K\cdot 2^{\tilde{O}(\sqrt{1/\gamma}\log K)}) 的错误界。在本文中,我们细化弱线性可分的概念以支持类分组的概念,称为分组弱线性可分条件。这种情况可能源于类结构包含固有分组的事实。我们表明在此条件下,我们也可以使用有理核并得到错误界 K2O~(1/γlogL))K\cdot 2^{\tilde{O}(\sqrt{1/\gamma}\log L)}),其中 LKL\leq K 表示组数。

关键词

引用

@article{arxiv.1912.10340,
  title  = {Bandit Multiclass Linear Classification for the Group Linear Separable Case},
  author = {Jittat Fakcharoenphol and Chayutpong Prompak},
  journal= {arXiv preprint arXiv:1912.10340},
  year   = {2021}
}

备注

This work is first published in iSAI-NLP 2019, Chiang Mai, Thailand. This version contains larger experiments and fixes calculation errors