深度学习模型训练中的超参数优化与可重复性
计算机视觉与模式识别
2025-11-04 v2
摘要
在组织病理学的基础模型训练中，可重复性仍是一个关键挑战，常因软件随机性、硬件非确定性以及不一致的超参数报告而受阻。为调查这些问题，我们在 QUILT-1M 数据集上训练了 CLIP 模型，并系统评估了不同超参数设置和数据增强策略对三个下游组织病理学数据集 (PatchCamelyon、LC25000-Lung 和 LC25000-Colon) 的影响。尽管不同运行之间存在差异，我们识别出明确的趋势：RandomResizedCrop 的取值 0.7-0.8 优于更激进的 (0.6) 或保守的 (0.9) 设置，分布式训练且不进行本地 loss 训练可提升稳定性，学习率低于 5.0e-5 在所有数据集上一致导致性能下降。LC25000 (Colon) 数据集始终提供了最可重复的基准。这些发现表明，计算病理学的可重复性不仅取决于透明的文档记录，也取决于仔细选择的实验配置，我们提供实用规则，以指导未来在数字病理学中开发可重复的基础模型。
引用
@article{arxiv.2510.15164,
title = {Hyperparameter Optimization and Reproducibility in Deep Learning Model Training},
author = {Usman Afzaal and Ziyu Su and Usama Sajjad and Hao Lu and Mostafa Rezapour and Metin Nafi Gurcan and Muhammad Khalid Khan Niazi},
journal= {arXiv preprint arXiv:2510.15164},
year = {2025}
}