中文

更多监督,更少计算:弱监督学习中的统计-计算权衡

机器学习 2019-07-16 v1 计算复杂性 机器学习

摘要

我们考虑弱监督二分类问题,其中标签以概率1α1-{\alpha}随机翻转。尽管针对该问题存在众多算法,但这些算法的统计精度与计算效率如何依赖于以α{\alpha}量化的监督程度,在理论上仍未被探索。本文中,我们通过建立信息论边界与计算边界,即所有算法可达成的最小最大最优统计精度,以及预言机计算模型下的多项式时间算法,来刻画α{\alpha}的影响。对于小的α{\alpha},我们的结果显示这两个边界之间存在间隙,这代表了由于缺乏监督而达到信息论边界所需付出的计算代价。有趣的是,我们也表明该间隙随α{\alpha}增大而变窄。换言之,拥有更多监督(即更多正确标签)不仅如预期般提升了最优统计精度,也增强了达成该精度的计算效率。

关键词

引用

@article{arxiv.1907.06257,
  title  = {More Supervision, Less Computation: Statistical-Computational Tradeoffs in Weakly Supervised Learning},
  author = {Xinyang Yi and Zhaoran Wang and Zhuoran Yang and Constantine Caramanis and Han Liu},
  journal= {arXiv preprint arXiv:1907.06257},
  year   = {2019}
}

备注

This work has been published in NeurIPS 2016. The first three authors contribute equally