GPTree：通过 LLM 驱动的决策树实现可解释决策
机器学习
2024-11-14 v1 人工智能
计算工程、金融与科学
摘要
传统决策树算法具有可解释性，但难以处理非线性、高维数据，限制了其在复杂决策中的应用。神经网络擅长捕捉复杂模式，但在此过程中牺牲了可解释性。在这项工作中，我们提出了 GPTree，一个结合了决策树可解释性与 LLM 先进推理能力的新颖框架。GPTree 无需特征工程和提示链，仅需一个特定于任务的提示，并利用基于树的结构动态分割样本。我们还引入了一种专家在环反馈机制，通过允许人类干预来优化和重建决策路径，从而进一步提升性能，强调了人类专业知识与机器智能之间的和谐。我们的决策树在识别初创公司成立阶段的“独角兽”企业时，达到了 7.8% 的精确率，超越了使用少样本学习的 gpt-4o 以及最优秀的人类决策者（3.1% 至 5.6%）。
引用
@article{arxiv.2411.08257,
title = {GPTree: Towards Explainable Decision-Making via LLM-powered Decision Trees},
author = {Sichao Xiong and Yigit Ihlamur and Fuat Alican and Aaron Ontoyin Yin},
journal= {arXiv preprint arXiv:2411.08257},
year = {2024}
}