主动学习中版本空间体积的结构化视角
机器学习
2020-09-29 v2 机器学习
摘要
主动学习(AL)是一种学习任务,要求学习器交互式地查询所采样的无标签样本的标签,以在人工监督下最小化训练输出。在理论研究中,学习器将覆盖所有可能分类假设的版本空间近似为一个有界凸体,并试图通过给定的切分大小将其体积收缩为一个半空间。然而,仅具有有限 VC 维的超球面在欧氏空间的类别可由间隔分离时获得了形式化的近似保证。本文中,我们将版本空间近似为一个覆盖大多数假设的结构化超球面,然后将可用的 AL 采样方法划分为两类策略:外体积采样与内体积采样。在为版本空间中 AL 的性能提供可证明保证后,我们通过在外体积包围空间中寻找最优内接超球面来聚合这两类体积以消除其采样偏差。为了从欧氏空间触及版本空间,我们提出了一个称为基于体积模型的理论桥梁,提升了“采样目标无关性”。在由核张成的非线性特征空间中,我们使用序贯优化通过将核空间大小减半来将原始空间全局优化为一个稀疏空间。随后,返回局部中心的 EM(期望最大化)模型帮助我们找到局部表示。为描述该过程,我们提出了一种易于实现的算法,称为基于体积的主动学习(VAL)。
引用
@article{arxiv.1807.08904,
title = {A Structured Perspective of Volumes on Active Learning},
author = {Xiaofeng Cao and Ivor W. Tsang and Guandong Xu},
journal= {arXiv preprint arXiv:1807.08904},
year = {2020}
}
备注
This paper has been withdrawn. The first author quitted the PhD study from AAI, University of Technology Sydney. The manuscript stopped updating