层次贝叶斯学习器的风险与遗憾
机器学习
2015-05-20 v1 机器学习
摘要
常见的统计实践表明，在使用层次先验之前，贝叶斯方法的全部威力并未显现，因为层次先验能带来更强的“鲁棒性”以及“共享统计强度”的能力。然而，为这些概念提供一种学习理论上合理的形式化仍是一项持续的挑战，该形式化需：就何时及如何最佳地利用层次模型提供实践指导；深入见解何种条件构成良好的层次先验；并且，在先验形式选定后，能指导超参数设置的选择。我们提出了一套分析工具，用于理解在线与批量学习设定下的层次先验。我们给出了对数损失下的遗憾界，其显示了某些层次模型在回顾中与模型类中最佳单一模型相比如何。我们还展示了如何将贝叶斯对数损失遗憾界转化为任意有界损失下的贝叶斯风险界，这一结果本身可能具有独立意义。针对 Student's 与层次高斯先验的风险与遗憾界使我们得以形式化“鲁棒性”与“共享统计强度”的概念。用于特征选择的先验也得到了研究。我们的结果表明，使用层次先验所带来的学习理论益处往往在以极小代价见于实际问题。
引用
@article{arxiv.1505.04984,
title = {Risk and Regret of Hierarchical Bayesian Learners},
author = {Jonathan H. Huggins and Joshua B. Tenenbaum},
journal= {arXiv preprint arXiv:1505.04984},
year = {2015}
}
备注
In Proceedings of the 32nd International Conference on Machine Learning (ICML 2015)