噪声环境下通过查询合成的半空间近最优主动学习
人工智能
2016-11-15 v2 信息论
机器学习
math.IT
摘要
在本文中，我们考虑通过查询合成主动学习线性分类器的问题，其中学习器可以构造人工查询以估计真实决策边界。该问题在自动化科学和对抗性逆向工程中最近引起了大量关注，而对此仅有启发式算法已知。在此类应用中，查询可从头构造以引出信息（例如自动化科学）或以最小代价规避检测（例如对抗性逆向工程）。我们开发了一个称为维度耦合 (DC) 的通用框架，它 1) 将d维学习问题化简为d-1个低维子问题，2) 高效求解每个子问题，3) 适当聚合结果并输出线性分类器，4) 为所有可能的聚合方案提供理论保证。所提方法被证明对噪声具有弹性。我们表明DC框架避免了维度灾难：其计算复杂度随维度线性缩放。此外，我们表明DC的查询复杂度近最优（在最优算法的常数因子内）。为了进一步支持我们的理论分析，我们将DC的性能与现有工作进行比较。我们观察到DC在查询复杂度方面始终优于先前技术，同时通常运行速度快几个数量级。
引用
@article{arxiv.1603.03515,
title = {Near-Optimal Active Learning of Halfspaces via Query Synthesis in the Noisy Setting},
author = {Lin Chen and Hamed Hassani and Amin Karbasi},
journal= {arXiv preprint arXiv:1603.03515},
year = {2016}
}
备注
Accepted by AAAI 2017