冻结层：内存高效的多保真度超参数优化
机器学习
2025-04-18 v2 人工智能
摘要
随着模型规模的增长，寻找高效且高性价比的超参数优化（HPO）方法对深度学习流水线变得日益关键。多保真度 HPO（MF-HPO）通过以低保真度估计换取深度学习训练所需的计算资源，但现有的保真度来源在低计算和内存约束下往往失效。我们提出了一种新颖的保真度来源：训练过程中被训练或冻结的层数。对于深度网络，与全模型训练相比，该方法在低保真度下保留了超参数间的秩相关性，同时显著节省了计算和内存。我们在 ResNets 和 Transformers 上的实证评估中展示了这一点，并额外分析了冻结层作为保真度、在 HPO 中使用 GPU 资源作为保真度，以及与其他保真度来源结合的 MF-HPO 中的效用。这一贡献为以硬件资源作为保真度的 MF-HPO 开辟了新应用，并为探索联合保真度空间的改进算法创造了机会。
引用
@article{arxiv.2504.10735,
title = {Frozen Layers: Memory-efficient Many-fidelity Hyperparameter Optimization},
author = {Timur Carstensen and Neeratyoy Mallik and Frank Hutter and Martin Rapp},
journal= {arXiv preprint arXiv:2504.10735},
year = {2025}
}