利用隐式保真度信息的元学习算法选择
机器学习
2022-07-14 v2
摘要
为给定数据集自动选择性能最佳的算法或按其预期性能对多个算法排序，可支持用户开发新的机器学习应用。针对该问题的大多数方法依赖于预计算的数据集元特征与地标性能，以捕捉数据集的显著拓扑以及算法所关注的那些拓扑。地标通常利用不一定属于候选算法池的廉价算法，以获得拓扑的低成本近似。尽管有一定指示性，手工设计的数据集元特征和地标很可能是不充分的描述符，强烈依赖于地标与候选算法所搜寻拓扑的对齐程度。我们提出 IMFAS，一种在测试阶段少样本设定下，通过 LSTM 以非参数非短视元学习学习曲线的形式，直接利用来自候选算法的多保真度地标信息的方法。利用该机制，IMFAS 联合学习数据集的拓扑与候选算法的归纳偏置，而无需将其昂贵地训练至收敛。我们的方法产生信息丰富的地标，易于以低计算成本由任意元特征扩充，能够利用更廉价的保真度产生所需排序。我们还展示 IMFAS 在测试时至多使用 50% 的保真度序列即可击败 Successive Halving。
引用
@article{arxiv.2206.03130,
title = {Towards Meta-learned Algorithm Selection using Implicit Fidelity Information},
author = {Aditya Mohan and Tim Ruhkopf and Marius Lindauer},
journal= {arXiv preprint arXiv:2206.03130},
year = {2022}
}
备注
Camera-ready version