极简流式森林

决策森林（包括随机森林与梯度提升树）仍是许多真实世界数据问题（尤其是表格数据）领先的机器学习方法。然而，当前多数实现仅以批处理模式运行，因而无法在更多数据到达时增量更新。已有若干前期工作开发了流式树与集成方法以克服此局限。但我们发现，这些前沿算法存在若干缺陷，包括在某些问题上精度低、在其他问题上内存占用高。因此我们开发了决策树的一种极简扩展：给定新数据，只需通过继续生长现有树来更新之，并以新树替换部分旧树以控制树的总数。在一个包含 72 个分类问题（OpenML-CC18 数据套件）的基准测试套件中，我们表明我们的方法 $\textit{Extremely Simple Streaming Forest}$（XForest）不受上述任一局限影响。在这些数据集上，我们还证明我们的方法常表现与常规批处理决策森林算法相当，且有时更优。借助 $\textit{zero-added-node}$ 方法 XForest-Zero，我们进一步将已有分裂扩展至新任务，且该高效方法仅需推断时间。因此，XForest 为流式树与森林建立了可轻松应用于许多真实世界问题的简单标准。