基于大型语言模型的零样态决策树构建
机器学习
2025-01-28 v1 计算与语言
摘要
本文提出了一种新型算法，用于基于分类与回归树 (CART) 原理以零样态方式构建决策树。传统决策树归纳方法高度依赖标注数据，通过诸如信息增益或基尼指数等准则递归划分数据。相比之下，我们提出的方法利用大型语言模型 (LLM) 中嵌入的预训练知识，在不依赖训练数据的情况下构建决策树。我们的方法利用 LLM 执行决策树构建所必需的运算，包括属性离散化、概率计算和基于概率的基尼指数计算。我们表明，这种零样态决策树可以在不使用监督数据的情况下超过基线零样态方法，并在表格数据集上实现与受监督数据驱动决策树相当的性能。通过此方法构建的决策树提供了透明且可解释的模型，解决了数据稀缺问题，同时保持可解释性。这一工作在低数据机器学习领域建立了新的基线，提供了一种以知识为驱动的、数据驱动方法的原则方法。
引用
@article{arxiv.2501.16247,
title = {Zero-Shot Decision Tree Construction via Large Language Models},
author = {Lucas Carrasco and Felipe Urrutia and Andrés Abeliuk},
journal= {arXiv preprint arXiv:2501.16247},
year = {2025}
}