贝叶斯基于池的主动学习对先验误设定的鲁棒性
机器学习
2016-03-31 v1 机器学习
摘要
我们研究主动学习(AL)算法对先验误设定的鲁棒性:即与使用真实先验相比,算法使用扰动先验时是否能达到相似性能。在最大覆盖设定的平均和最坏情况下,我们证明若效用关于先验是 Lipschitz 连续的,则所有 -近似算法都是鲁棒的(即接近 -近似)。我们进一步表明,若效用非 Lipschitz,则可能无法达到鲁棒性。这表明若需要鲁棒性,我们应为 AL 使用 Lipschitz 效用。对于最小代价设定,我们也能获得近似 AL 算法的鲁棒性结果。我们的结果意味着许多常用 AL 算法对扰动先验是鲁棒的。随后我们提出使用混合先验来缓解先验误设定问题。我们分析了均匀混合先验的鲁棒性,并通过实验表明其在实践中表现相当良好。
引用
@article{arxiv.1603.09050,
title = {Robustness of Bayesian Pool-based Active Learning Against Prior Misspecification},
author = {Nguyen Viet Cuong and Nan Ye and Wee Sun Lee},
journal= {arXiv preprint arXiv:1603.09050},
year = {2016}
}
备注
This paper is published at AAAI Conference on Artificial Intelligence (AAAI 2016)