大语言模型作为原地元学习者用于模型与超参数选择
机器学习
2026-02-16 v3 机器学习
摘要
模型与超参数选择是机器学习中关键但具有挑战性的任务，通常需要专业直觉或高昂的自动化搜索。我们研究了大语言模型（LLMs）是否可作为原地元学习者用于此任务。通过将每个数据集转换为可解释的元数据，我们提示 LLM 为模型家族和超参数提供建议。我们研究了两种提示策略：(1) 零-shot 模式仅依赖预训练知识，和 (2) 元信息增强模式，集成了过去任务中模型及其性能的示例。在合成和真实世界基准测试中，我们展示了 LLM 能否利用数据集元数据来在无需搜索的情况下推荐具有竞争力的模型和超参数，并且从元信息增强提示中获得的改进表明其具备原地元学习能力。这些结果凸显了 LLM 作为轻量级、通用型模型选择和超参数优化助理的新潜力角色。
引用
@article{arxiv.2510.26510,
title = {LLMs as In-Context Meta-Learners for Model and Hyperparameter Selection},
author = {Youssef Attia El Hili and Albert Thomas and Malik Tiomoko and Abdelhakim Benechehab and Corentin Léger and Corinne Ancourt and Balázs Kégl},
journal= {arXiv preprint arXiv:2510.26510},
year = {2026}
}
备注
27 pages, 6 figures