利用逐步前瞻决策森林在高噪声环境中揭示特征相互依赖关系
机器学习
2021-04-01 v5 机器学习
摘要
传统上,随机森林由“贪婪”决策树构建,这些树在构建时每次仅考虑一个分裂。贪婪实现的次优性已为人所知,但更复杂的建树算法尚未被主流采用。我们考察了在何种情况下较不贪婪的决策树实现确实能带来更优表现。为此,提出了随机森林算法的“逐步前瞻”变体,以其更好揭示二元特征相互依赖关系的能力。与贪婪方法相反,该随机森林算法所包含的决策树各自在深度为二的层级上同时考虑三个分裂节点。在合成数据与金融价格时间序列上表明,当(a)特征对之间存在某些非线性关系且(b)信噪比特别低时,前瞻版本显著优于贪婪版本。随后通过训练贪婪与逐步前瞻随机森林来预测每日价格收益的符号,对铜期货的做多-做空交易策略进行回测。前瞻算法的优越表现至少部分可由长期与短期技术指标之间存在的“类XOR”关系来解释。更一般地,在所有考察的数据集中,当特征间不存在此类关系时,各随机森林表现相近。鉴于其增强的理解复杂系统中特征相互依赖关系的能力,该前瞻变体是数据科学家工具箱中有用的扩展,尤其适用于通常满足 conditions (a) 与 (b) 的金融机器学习。
引用
@article{arxiv.2009.14572,
title = {Uncovering Feature Interdependencies in High-Noise Environments with Stepwise Lookahead Decision Forests},
author = {Delilah Donick and Sandro Claudio Lera},
journal= {arXiv preprint arXiv:2009.14572},
year = {2021}
}