基于可微元特征超参数优化
机器学习
2021-02-09 v1
摘要
元特征（或数据集特性）已被证明可提升超参数优化（HPO）的性能。 conventionally，元特征被预先计算并用于度量数据集间的相似性，从而更好地初始化HPO模型。本文中，我们提出一种称为基于可微元特征代理模型（DMFBS）的跨数据集代理模型，其预测在手上数据集上训练模型的超参数响应，即验证损失。与现有模型不同，DMFBS i) 集成了一个可微元特征提取器，且 ii) 使用一种新颖的多任务损失进行优化，该损失将流形正则化与通过辅助数据集识别元任务学习到的数据集相似性度量相联结，有效强制相似数据集的响应近似趋于相似。我们在三个大型元数据集上将DMFBS与若干近期HPO模型比较，表明其以平均10%的提升持续优于所有模型。最后，我们提供了详尽的消融研究以检验本方法各组件。
引用
@article{arxiv.2102.03776,
title = {Hyperparameter Optimization with Differentiable Metafeatures},
author = {Hadi S. Jomaa and Lars Schmidt-Thieme and Josif Grabocka},
journal= {arXiv preprint arXiv:2102.03776},
year = {2021}
}