“噢 LLM，我求您，请给我一棵决策树”：基于大语言模型的零样本决策树归纳与嵌入
人工智能
2025-05-28 v2 计算与语言
机器学习
摘要
在数据有限的情况下，大语言模型（LLM）为利用先验知识进行预测建模提供了强有力的手段。在本工作中，我们展示了 LLM 如何利用其压缩的世界知识生成内在可解释的机器学习模型，即决策树，而无需任何训练数据。我们发现，这些零样本决策树在一些小型表格数据集上甚至可以超越数据驱动的决策树，并且从这些树中导出的嵌入平均而言优于数据驱动的基于树的嵌入。因此，我们的决策树归纳与嵌入方法可以作为低数据环境下数据驱动机器学习方法的新知识驱动基线。此外，它们提供了利用 LLM 中丰富世界知识来解决表格机器学习任务的途径。我们的代码和结果可在 https://github.com/ml-lab-htw/llm-trees 获取。
引用
@article{arxiv.2409.18594,
title = {"Oh LLM, I'm Asking Thee, Please Give Me a Decision Tree": Zero-Shot Decision Tree Induction and Embedding with Large Language Models},
author = {Ricardo Knauer and Mario Koddenbrock and Raphael Wallsberger and Nicholas M. Brisson and Georg N. Duda and Deborah Falla and David W. Evans and Erik Rodner},
journal= {arXiv preprint arXiv:2409.18594},
year = {2025}
}
备注
KDD 2025 Research Track