主动学习中基于 Fisher 信息的目标函数渐近分析
机器学习
2016-10-18 v2 机器学习
摘要
获取标签可能代价高昂且耗时。主动学习允许学习算法智能地查询待标注样本以实现高效学习。Fisher 信息比（FIR）已被用作主动学习中选择查询的目标函数。然而，关于 FIR 用于主动学习的理论基础知之甚少。其底层理论与实践中使用的动机之间存在鸿沟。本文试图填补这一鸿沟，并为分析现有的基于 FIR 的主动学习方法提供一个严谨的框架。特别地，我们证明 FIR 在渐近意义上可视为对数似然比期望方差的上界。此外，我们的分析提出了一个统一框架，不仅使我们能够对现有基于 FIR 的查询方法进行理论比较，还让我们能深入开发基于该目标的新主动学习方法。
引用
@article{arxiv.1605.08798,
title = {Asymptotic Analysis of Objectives based on Fisher Information in Active Learning},
author = {Jamshid Sourati and Murat Akcakaya and Todd K. Leen and Deniz Erdogmus and Jennifer G. Dy},
journal= {arXiv preprint arXiv:1605.08798},
year = {2016}
}