基于改进 Aitchison-Aitken 函数的贝叶斯优化用于组合爆炸决策树的多规则挖掘算法
机器学习
2023-10-05 v1 人工智能
摘要
决策树具有易于解释的优点，因为它们允许基于 if-then 规则对输入数据进行分类。然而，由于决策树是由一种以最少必要规则实现清晰分类的算法构建的，这些树存在仅提取最少规则的缺点，即使数据中存在着各种潜在规则。确实存在使用随机选取的特征子集构建多棵树的方法。然而，可构建的树的数量仍处于相同规模，因为特征子集的数量是组合爆炸的。此外，当构建多棵树时，会生成大量规则，其中若干规则不可靠和/或高度相似。因此，我们提出了“MAABO-MT”和“GS-MRM”算法，分别用于以较小计算复杂度在所有可能树中策略性地构建具有高估计性能的树，以及仅提取可靠且不相似规则。我们使用多个开放数据集进行实验以分析所提方法的有效性。结果证实，MAABO-MT 能以比其他依赖随机性的方法更低的计算成本发现可靠规则。此外，证实所提方法能提供比以往研究常用的单棵决策树更深的洞察。因此，MAABO-MT 和 GS-MRM 能高效地从组合爆炸决策树中提取规则。
引用
@article{arxiv.2310.02633,
title = {Multi-rules mining algorithm for combinatorially exploded decision trees with modified Aitchison-Aitken function-based Bayesian optimization},
author = {Yuto Omae and Masaya Mori and Yohei Kakimoto},
journal= {arXiv preprint arXiv:2310.02633},
year = {2023}
}
备注
13 pages, 8 figures