统一主动学习问题的信息论框架
机器学习
2020-12-22 v1 机器学习
摘要
本文提出一个统一主动学习问题的信息论框架：水平集估计（LSE）、贝叶斯优化（BO）及其广义变体。我们首先引入一种新颖的主动学习准则，它包含现有的 LSE 算法，并在具有连续输入域的 LSE 问题中达到最先进（SOTA）性能。接着，通过利用 LSE 与 BO 之间的关系，我们设计了一种具有竞争力的 BO 信息论采集函数，其与上置信界和最大熵值搜索（MES）有有趣的联系。后一联系揭示了 MES 的一个缺陷，该缺陷不仅对 MES 而且对其它基于 MES 的采集函数都有重要意义。最后，我们统一的信论框架可应用于以数据高效的方式解决涉及多个水平集的 LSE 与 BO 的广义问题。我们使用合成基准函数、真实世界数据集以及机器学习模型超参数调优对我们的算法性能进行了实证评估。
引用
@article{arxiv.2012.10695,
title = {An Information-Theoretic Framework for Unifying Active Learning Problems},
author = {Quoc Phong Nguyen and Bryan Kian Hsiang Low and Patrick Jaillet},
journal= {arXiv preprint arXiv:2012.10695},
year = {2020}
}
备注
35th AAAI Conference on Artificial Intelligence (AAAI 2021), Extended version with derivations, 12 pages