软霍夫丁树：一种面向数据流的可透明且可微分模型
机器学习
2025-09-24 v1
摘要
我们提出软霍夫丁树（SoHoT）作为面向可能无限且不断变化的数据流的新可微分且透明的模型。流挖掘算法如霍夫丁树基于传入数据流增长，但目前缺乏端到端深度学习系统的适应性。如果神经网络学习到的特征表示被用于树中，或者树的输出在深度学习模型或工作流中被进一步处理，端到端学习将是有益的。与霍夫丁树不同，软树由于其可微分性可以集成到此类系统中，但既不透明也不可解释。我们的新型模型结合了霍夫丁树的可扩展性和透明性与软树的可微分性。我们引入了一种新的门控函数来调节树中单变量分裂和多变量分裂之间的平衡。在20个数据流上进行的实验将SoHoT与标准霍夫丁树、有限复杂度的霍夫丁树以及使用稀疏激活函数进行样本路由的软树进行了比较。结果表明，软霍夫丁树在估计类别概率方面优于霍夫丁树，同时与软树相比保持了透明性，在AUROC和交叉熵方面的损失相对较小。我们还展示了如何使用超参数在透明性与性能之间进行权衡，获得单变量分裂一端和多变量分裂另一端的分裂方式。
引用
@article{arxiv.2411.04812,
title = {Soft Hoeffding Tree: A Transparent and Differentiable Model on Data Streams},
author = {Kirsten Köbschall and Lisa Hartung and Stefan Kramer},
journal= {arXiv preprint arXiv:2411.04812},
year = {2025}
}