深度学习预测晚发期乳腺癌转移：单一超参数网格搜索（SHGS）策略用于深度前馈神经网络的元调参
机器学习
2024-08-29 v1 人工智能
神经与进化计算
定量方法
摘要
尽管机器学习在医学领域取得了显著进展，但其在临床应用中，尤其是在预测乳腺癌转移方面的广泛应用仍有限。我们致力于构建一个深度前馈神经网络（DFNN）模型，以预测乳腺癌转移的发生。然而，通过网格搜索高效识别最优超参数值面临着巨大挑战，这取决于时间和资源限制。诸如 l1 和 l2 等连续超参数的无限可能性，以及耗时且昂贵的过程，进一步复杂化了这一任务。为此，我们开发了单一超参数网格搜索（SHGS）策略，作为网格搜索的预筛选方法。我们将 SHGS 应用于乳腺癌转移预测的 DFNN 模型实验，聚焦于分析八个目标超参数：epoch 数、batch 大小、dropout、L1、L2、学习率、decay 和 momentum。我们创建了三幅图，分别描绘了三个 LSM-I-10-Plus-year 数据集实验结果，这些图 illustrating 模型性能与目标超参数值之间的关系。对于每个超参数，我们分析了该超参数变化是否会影响模型性能，检验是否存在特定模式，并探讨如何选择该特定超参数的值。我们的实验发现，超参数的最优值不仅取决于数据集，还受到其他超参数设置的显著影响。此外，我们的实验建议了一些针对目标超参数的缩减范围，这可能对低预算网格搜索有所帮助。该方法为后续使用网格搜索以提升模型性能提供了先验经验和基础。
引用
@article{arxiv.2408.15498,
title = {Deep Learning to Predict Late-Onset Breast Cancer Metastasis: the Single Hyperparameter Grid Search (SHGS) Strategy for Meta Tuning Concerning Deep Feed-forward Neural Network},
author = {Yijun Zhou and Om Arora-Jain and Xia Jiang},
journal= {arXiv preprint arXiv:2408.15498},
year = {2024}
}