一个超参数优化器就够了吗？

超参数调优是自动寻找数据挖掘器控制参数良好组合的黑艺术。尽管在经验软件工程中广泛应用，关于哪种超参数调优器最适合软件分析尚无太多讨论。为弥补文献中的这一空白，本文将一系列超参数优化器（网格搜索、随机搜索、差分进化以及贝叶斯优化）应用于缺陷预测问题。令人惊讶的是，未观察到任何超参数优化器为“最佳”，并且对于本文研究的两种评估度量之一（F-measure），在 50% 的情况下超参数优化并不优于使用默认配置。我们得出结论：超参数优化比先前所认为的更为微妙。虽然此类优化无疑能大幅改进软件分析中分类器的性能，但应将哪些具体优化器应用于新数据集仍有待观察。