中文

均匀特征噪声下主动学习的分析

机器学习 2015-05-19 v1 人工智能 机器学习 统计理论 统计理论

摘要

在主动学习中,用户顺序选择特征XX的值,预言机返回相应的标签YY。在本文中,我们考虑主动学习中特征噪声的影响,其可能产生是因为XX本身被测量,或在传输给预言机时受损,或预言机返回查询点的噪声版本的标签。在统计学中,特征噪声被称为“变量误差”(errors in variables),并在非主动设置中被广泛研究。然而,主动学习中特征噪声的影响此前未被研究。我们考虑著名的 Berkson 变量误差模型,其具有宽度为σ\sigma的加性均匀噪声。我们简单但具启发性的设置是一维二分类设置,其目标是学习一个阈值(正标签概率跨过一半的点)。我们处理在阈值周围大小为σ\sigma的区域内反对称且满足 Tsybakov 边缘条件的回归函数。我们证明了极小极大下界和上界,表明当σ\sigma小于在\cite{CN07}中导出的极小极大主动/被动无噪声误差时,噪声对速率没有影响,并且达到相同的无噪声速率。对于更大的σ\sigma,回归函数在与均匀噪声卷积时的非平坦化,连同其在阈值周围的局部反对称性,共同产生一种噪声似乎有益的行为。我们的关键结果是,即使在存在特征噪声的情况下,主动学习也能比被动策略获得显著改进。

关键词

引用

@article{arxiv.1505.04215,
  title  = {An Analysis of Active Learning With Uniform Feature Noise},
  author = {Aaditya Ramdas and Barnabas Poczos and Aarti Singh and Larry Wasserman},
  journal= {arXiv preprint arXiv:1505.04215},
  year   = {2015}
}

备注

24 pages, 2 figures, published in the proceedings of the 17th International Conference on Artificial Intelligence and Statistics (AISTATS), 2014