超参数优化在欺骗我们，以及如何阻止它
机器学习
2022-02-18 v4 计算机科学中的逻辑
摘要
近期的实证研究表明，基于超参数优化(HPO)配置选择的不一致结果是ML研究中的普遍问题。当比较两种算法J和K时，搜索某一子空间可得出J优于K的结论，而搜索另一子空间则可能导致相反结论。简言之，我们选择超参数的方式可能在欺骗我们。我们为这一先前工作提供理论补充，主张为避免此类欺骗，从HPO得出结论的过程应更为严谨。我们称此过程为认知超参数优化(EHPO)，并提出一个逻辑框架以刻画其语义及如何导致关于性能的不一致结论。我们的框架使我们能够证明，在给定有限计算时间预算t的情况下，保证防御欺骗的EHPO方法。我们通过证明并实证验证随机搜索的一个防御变体来展示我们框架的效用。
引用
@article{arxiv.2102.03034,
title = {Hyperparameter Optimization Is Deceiving Us, and How to Stop It},
author = {A. Feder Cooper and Yucheng Lu and Jessica Zosa Forde and Christopher De Sa},
journal= {arXiv preprint arXiv:2102.03034},
year = {2022}
}
备注
To appear, NeurIPS 2021