MoRE-LLM：由大语言模型引导的规则专家混合模型
机器学习
2025-04-01 v1
摘要
为确保 AI 系统的可信赖性和可解释性，需将机器学习模型与人类领域知识对齐。这一目标往往具有挑战性且耗时，需数据科学家与领域专家紧密协作。近期大语言模型（LLM）能力的飞跃为缓解这一困境提供了可能。本文提出了一种由大语言模型引导的规则专家混合模型（Mixture of Rule Experts, LLM-guided MoRE, MoRE-LLM），将数据驱动的黑箱模型与来自 LLM 的知识相结合，实现领域知识对齐且具有可解释性的预测。虽然引入的规则专家混合模型（MoRE）在训练期间引导发现本地规则基模型并用于分类任务，但 LLM 负责通过纠正和语境化来增强规则的领域知识对齐性。重要的是，本方法在测试阶段无需依赖 LLM，确保可解释性且不受 LLM 幻觉影响。我们在多个表格数据集上进行评估，比较其与可解释及非可解释基线方法的性能。除性能外，我们还从可解释规则的利用率角度进行评估。除定量评估外，我们进一步阐述了 LLM 如何为增强模型推理过程的可理解性和可信赖性提供额外语境。
引用
@article{arxiv.2503.22731,
title = {MoRE-LLM: Mixture of Rule Experts Guided by a Large Language Model},
author = {Alexander Koebler and Ingo Thon and Florian Buettner},
journal= {arXiv preprint arXiv:2503.22731},
year = {2025}
}
备注
2024 IEEE International Conference on Data Mining (ICDM)