更多监督,更少计算:弱监督学习中的统计-计算权衡
机器学习
2019-07-16 v1 计算复杂性
机器学习
摘要
我们考虑弱监督二分类问题,其中标签以概率随机翻转。尽管针对该问题存在众多算法,但这些算法的统计精度与计算效率如何依赖于以量化的监督程度,在理论上仍未被探索。本文中,我们通过建立信息论边界与计算边界,即所有算法可达成的最小最大最优统计精度,以及预言机计算模型下的多项式时间算法,来刻画的影响。对于小的,我们的结果显示这两个边界之间存在间隙,这代表了由于缺乏监督而达到信息论边界所需付出的计算代价。有趣的是,我们也表明该间隙随增大而变窄。换言之,拥有更多监督(即更多正确标签)不仅如预期般提升了最优统计精度,也增强了达成该精度的计算效率。
引用
@article{arxiv.1907.06257,
title = {More Supervision, Less Computation: Statistical-Computational Tradeoffs in Weakly Supervised Learning},
author = {Xinyang Yi and Zhaoran Wang and Zhuoran Yang and Constantine Caramanis and Han Liu},
journal= {arXiv preprint arXiv:1907.06257},
year = {2019}
}
备注
This work has been published in NeurIPS 2016. The first three authors contribute equally