重新审视超参数优化中基于编码器的热启动方法
机器学习
2024-08-19 v4
摘要
为了元学习目的而有效地表示异构表格数据集仍然是一个开放问题。以往的方法依赖于预定义的元特征，例如统计度量或 landmarkers。数据集编码器的出现为提取元特征开辟了新的可能性，因为它们不涉及任何手工设计。此外，已证明它们能够生成具有理想空间属性的数据集表示。在本研究中，我们评估了一种基于编码器的方法在最成熟的元任务之一——贝叶斯超参数优化的热启动——中的应用。为了拓宽我们的分析，我们基于 [Tomoharu Iwata and Atsutoshi Kumagai. Meta-learning from Tasks with Heterogeneous Attribute Spaces. In Advances in Neural Information Processing Systems, 2020] 引入了一种新的表格数据表示学习方法。在来自 UCI 的 100 多个数据集和独立的 metaMIMIC 数据集上的验证，突显了表示学习中微妙的挑战。我们表明，如果在提取过程中没有明确考虑某些元任务的要求，通用表示可能不足以应对这些任务。
引用
@article{arxiv.2403.04720,
title = {Rethinking of Encoder-based Warm-start Methods in Hyperparameter Optimization},
author = {Dawid Płudowski and Antoni Zajko and Anna Kozak and Katarzyna Woźnica},
journal= {arXiv preprint arXiv:2403.04720},
year = {2024}
}