XAutoLM：基于元学习与 AutoML 的高效语言模型微调
计算与语言
2025-10-07 v3
摘要
机器学习专家通过利用领域知识来导航模型选择、超参数优化和资源分配决策。这在语言模型微调中尤为关键，因为反复尝试会造成巨大的计算开销和环境影响。然而，目前尚无自动化框架能够同时处理资源高效语言模型微调中模型选择和超参数优化（HPO）的全部任务。我们引入 XAutoLM，一个结合元学习的 AutoML 框架，通过复用过往经验来高效优化判别式和生成式语言模型微调管道。XAutoLM 通过提取任务级和系统级元特征，从存储的成功与失败中学习，偏向于有价值的配置，避免昂贵的死胞。在四个文本分类和两个问答基准测试上，XAutoLM 在六个任务中五个任务的 F1 分数均超过零样本优化器的峰值，显著缩短管道评估时间最长达 4.5 倍，降低搜索误差率最高可降低 7 倍，并发现超过零样本 Pareto 前沿的管道数量增加最高可达 50%。相比，较简单的基于记忆的基线方法会产生负迁移。我们发布 XAutoLM 及我们的经验存储库，以催化 NLP 社区实现资源高效、绿色 AI 微调。
引用
@article{arxiv.2508.00924,
title = {XAutoLM: Efficient Fine-Tuning of Language Models via Meta-Learning and AutoML},
author = {Ernesto L. Estevanell-Valladares and Suilan Estevez-Velarde and Yoan Gutiérrez and Andrés Montoyo and Ruslan Mitkov},
journal= {arXiv preprint arXiv:2508.00924},
year = {2025}
}
备注
18 pages, 10 figures, 7 tables. Preprint. Accepted at EMNLP 2025