深度学习模型测试性能估计方差的嵌套交叉验证、自动调参与高性能计算集成
计算机视觉与模式识别
2025-11-20 v2
摘要
背景与目标：深度学习模型在医学影像中的真实世界性能基准测试中的可变性和偏差削弱了其可信度，以便在真实世界部署。单一固定测试集的常用方法无法量化测试性能指标的估计方差。本研究引入 NACHOS（Nested and Automated Cross-validation and Hyperparameter Optimization using Supercomputing）以减少和量化深度学习模型测试性能指标的方差。方法：NACHOS 将嵌套交叉验证（NCV）和自动化超参数优化（AHPO）集成到并行化的高性能计算（HPC）框架中。NACHOS 在胸部 X 光数据存储库和光学相干断层扫描（OCT）数据集下，以多种数据分区方案进行演示。除了性能估计外，还引入 DACHOS（Deployment with Automated Cross-validation and Hyperparameter Optimization using Supercomputing），以利用 AHPO 和交叉验证，在完整数据集上构建最终模型，提高预期部署性能。结果：我们的发现强调 NCV 在量化和减少估计方差方面的重要性，AHPO 在跨测试折叠一致优化超参数方面的重要性，HPC 在确保计算可行性方面的重要性。结论：通过整合这些方法，NACHOS 和 DACHOS 提供了一个可扩展、可重复且可信的 DL 模型评估和部署框架，适用于医学影像。为最大化公开可用性，提供完整的开源代码仓库，地址为 https://github.com/thepanlab/NACHOS
引用
@article{arxiv.2503.08589,
title = {Integration of nested cross-validation, automated hyperparameter optimization, high-performance computing to reduce and quantify the variance of test performance estimation of deep learning models},
author = {Paul Calle and Averi Bates and Justin C. Reynolds and Yunlong Liu and Haoyang Cui and Sinaro Ly and Chen Wang and Qinghao Zhang and Alberto J. de Armendi and Shashank S. Shettar and Kar Ming Fung and Qinggong Tang and Chongle Pan},
journal= {arXiv preprint arXiv:2503.08589},
year = {2025}
}