贝叶斯优化遇见自蒸馏
计算机视觉与模式识别
2023-08-29 v2
摘要
贝叶斯优化（BO）通过基于多次训练试验的观测迭代地建议有前景的超参数配置，为提升模型性能做出了巨大贡献。然而，以往试验仅转移了部分知识（即训练模型的实测性能及其超参数配置）。另一方面，自蒸馏（SD）仅转移任务模型自身学到的部分知识。为充分利用所有训练试验中获得的各种知识，我们提出了 BOSS 框架，该框架结合了 BO 与 SD。BOSS 通过 BO 建议有前景的超参数配置，并从以往试验中精心挑选预训练模型用于 SD，而这些模型在常规 BO 流程中会被弃用。在包括通用图像分类、带噪标签学习、半监督学习以及医学图像分析任务等广泛任务中，BOSS 取得了显著优于 BO 和 SD 的性能。
引用
@article{arxiv.2304.12666,
title = {Bayesian Optimization Meets Self-Distillation},
author = {HyunJae Lee and Heon Song and Hyeonsoo Lee and Gi-hyeon Lee and Suyeong Park and Donggeun Yoo},
journal= {arXiv preprint arXiv:2304.12666},
year = {2023}
}
备注
ICCV 2023 accepted