能够记忆的决策树：基于梯度的递归决策树学习
机器学习
2025-02-07 v1
摘要
循环神经网络（RNN）、Transformer 和 State-Space 模型等神经网络架构在通过学习时序依赖性来处理序列数据方面取得了很大成功。然而，决策树（DT）作为结构化表格数据建模的常用模型方法，通常并未直接设计来捕获序列模式。相反，针对时间序列数据的 DT 方法往往依赖于特征工程，例如手动引入滞后特征，这在捕获复杂时序依赖性方面往往次优。为此，我们提出ReMeDe Trees（记忆型决策树），一种新型递归 DT 架构，通过集成类似 RNN 的内部记忆机制来学习序列数据的长期依赖。该模型通过梯度下降高效地学习用于输出生成和状态更新的硬轴对齐决策规则。我们在合成基准上进行了概念验证研究，以展示该方法的有效性。
引用
@article{arxiv.2502.04052,
title = {Decision Trees That Remember: Gradient-Based Learning of Recurrent Decision Trees with Memory},
author = {Sascha Marton and Moritz Schneider},
journal= {arXiv preprint arXiv:2502.04052},
year = {2025}
}