主动学习代价-性能权衡的 Rényi 熵界
信息论
2020-02-07 v1 机器学习
math.IT
摘要
半监督分类是机器学习中最突出的领域之一，它研究如何将通常充裕的无标签数据的统计知识与通常有限的标签数据相结合，以最大化整体分类精度。在此背景下，主动选择待标签数据的过程被称为主动学习。在本文中，我们开启了带主动获取标签数据的半监督分类的最优策略的非渐近分析。考虑一个一般的贝叶斯分类模型，我们首次刻画了联合最优的主动学习与半监督分类策略，体现为由标签查询预算（待标签数据项数量）与整体分类精度所驱动的代价-性能权衡。利用近期关于 Rényi 熵的结果，我们推导了此种主动学习代价-性能权衡的紧信息论界。
引用
@article{arxiv.2002.02025,
title = {R\'{e}nyi Entropy Bounds on the Active Learning Cost-Performance Tradeoff},
author = {Vahid Jamali and Antonia Tulino and Jaime Llorca and Elza Erkip},
journal= {arXiv preprint arXiv:2002.02025},
year = {2020}
}