MetaLLMix：一种基于LLM元学习的、辅助XAI的人工智能方法用于超参数优化
机器学习
2025-10-08 v3 人工智能
摘要
有效的模型和超参数选择仍是深度学习中的主要挑战，常需大量专业知识和计算资源。虽然AutoML和大语言模型（LLM）承诺实现自动化，但当前的LLM-based方法依赖试错且需昂贵的API，提供的解释性和可泛化性有限。我们提出MetaLLMiX，一个结合元学习、可解释人工智能和高效LLM推理的零样超参数优化框架。通过利用带SHAP解释的历史实验结果，MetaLLMiX可在无需额外试验的情况下推荐最优超参数和预训练模型。我们进一步采用LLM作为评判器来控制输出格式、准确性和完整性。在使用九个开源轻量级LLMs在八个医学影像数据集上的实验中，MetaLLMiX在大幅降低计算成本的同时，实现了对传统HPO方法的竞争甚至优于表现。我们的本地部署超越了以前基于API的方法，在5个8个任务中获得最佳结果，响应时间缩短99.6%-99.9%，在6个数据集上实现最快训练时间（快2.4-15.7倍），同时保持准确率在最佳基线的1%-5%内。
引用
@article{arxiv.2509.09387,
title = {MetaLLMix : An XAI Aided LLM-Meta-learning Based Approach for Hyper-parameters Optimization},
author = {Mohamed Bal-Ghaoui and Mohammed Tiouti},
journal= {arXiv preprint arXiv:2509.09387},
year = {2025}
}