AMF：用于在线学习的聚合 Mondrian 森林
机器学习
2020-05-18 v2 机器学习
统计理论
统计理论
摘要
随机森林（Random Forests, RF）是许多监督学习应用（无论是分类还是回归）中的首选算法之一。此类树集成方法的吸引力源于若干特性的结合：在多种任务中卓越的精度、少量需调参数、对特征缩放的鲁棒性、训练与预测合理的计算成本，以及在高维设定下的适用性。然而最常用的 RF 变体是“离线”算法，需一次性获得整个数据集。在本文中，我们引入 AMF，一种基于 Mondrian 森林的在线随机森林算法。利用 Context Tree Weighting 算法的一个变体，我们展示可高效地对树的所有剪枝进行精确聚合；特别地，这得以获得真正在线的无参数算法，其与 Mondrian 树的最优剪枝相竞争，从而自适应于回归函数未知的正则性。数值实验表明，在多类分类的大量数据集上，AMF 与若干强基线具有竞争力。
引用
@article{arxiv.1906.10529,
title = {AMF: Aggregated Mondrian Forests for Online Learning},
author = {Jaouad Mourtada and Stéphane Gaïffas and Erwan Scornet},
journal= {arXiv preprint arXiv:1906.10529},
year = {2020}
}