当不确定性至关重要时用于大规模回归的 Mondrian Forests
机器学习
2016-05-30 v4 机器学习
摘要
许多真实世界的回归问题需要每个预测相关联的不确定性的度量。标准决策森林提供高效的最先进预测性能，但缺乏高质量不确定性估计。高斯过程(GPs)提供不确定性估计，但将GPs扩展到大规模数据集需要以近似不确定性估计为代价。我们将 Lakshminarayanan 等人(2014)最初针对分类问题提出的 Mondrian forests 扩展到大规模非参数回归设置。利用与 Mondrian forest 框架紧密契合的新颖层次高斯先验，我们获得了原则性的不确定性估计，同时仍保留了决策森林的计算优势。通过说明性示例、真实世界大规模数据集和贝叶斯优化基准的组合，我们证明 Mondrian forests 在大规模回归任务上优于近似 GPs，并比基于决策森林的方法提供更佳校准的不确定性评估。
引用
@article{arxiv.1506.03805,
title = {Mondrian Forests for Large-Scale Regression when Uncertainty Matters},
author = {Balaji Lakshminarayanan and Daniel M. Roy and Yee Whye Teh},
journal= {arXiv preprint arXiv:1506.03805},
year = {2016}
}
备注
Proceedings of the 19th International Conference on Artificial Intelligence and Statistics (AISTATS) 2016, Cadiz, Spain. JMLR: W&CP volume 51