DiNo 与 RanBu：来自浅层随机森林的轻量级预测
机器学习
2025-10-29 v1 机器学习
摘要
随机森林集成是表格预测任务的强基准，但其依赖大量深层树往往导致高推理延迟和内存需求，限制了在延迟敏感或资源受限环境中的部署。我们引入 DiNo（Distance with Nodes）和 RanBu（Random Bushes），两种浅层森林方法，通过将少量限制深度的树转换为高效、基于距离加权的预测器。DiNo 通过观察对对间的最近公共祖先测量珠相似度，而 RanBu 对布莱曼的经典相似度测量应用核平滑。两种方法完全在森林训练后 operate：无需生长额外树，bandwidth 参数 的调优仅需轻量级矩阵向量运算。在三个合成基准和 25 个公开数据集上，RanBu 在保持或提高准确率方面表现出色，尤其在高噪声情境下，训练加推理时间缩短最高可达 95\%。DiNo 在低噪声环境中实现最佳偏差-方差权衡，计算成本适中。两种方法可直接扩展到分位数回归，保持准确率的同时实现显著加速。实现已作为开源 R/C++ 软件包发布于 https://github.com/tiagomendonca/dirf。我们专注于结构化表格随机样本（独立同分布），其他模态的扩展留待后续工作。
引用
@article{arxiv.2510.23624,
title = {DiNo and RanBu: Lightweight Predictions from Shallow Random Forests},
author = {Tiago Mendonça dos Santos and Rafael Izbicki and Luís Gustavo Esteves},
journal= {arXiv preprint arXiv:2510.23624},
year = {2025}
}