Patch 大小渐进生长：稠密预测任务资源高效的课程学习方法
计算机视觉与模式识别
2024-07-12 v2
摘要
本文提出了渐进式扩大 patch 大小的方法，这是一种用于稠密预测任务的资源高效隐式课程学习方法。我们的课程方法通过在模型训练期间逐渐扩大 patch 大小，从而逐步增加任务的难度。我们将该课程方法集成到 nnU-Net 框架中，并在 Medical Segmentation Decathlon 的 10 个任务上进行评估。通过该方法，我们能够大幅降低网络训练的运行时间、计算成本和 CO2 排放。实验结果表明，课程学习方法显著改善了收敛效果。我们在 7 个 10 个 MSD 任务中实现了 Dice 评分超越常规 nnU-Net 训练（后者使用固定 patch 大小），而仅耗费约原训练时间的一半。迄今为止，我们的方法是计算机视觉领域首次成功应用以 patch 大小形式的样本长度课程学习。我们的代码已公开于 https://github.com/compai-lab/2024-miccai-fischer。
引用
@article{arxiv.2407.07853,
title = {Progressive Growing of Patch Size: Resource-Efficient Curriculum Learning for Dense Prediction Tasks},
author = {Stefan M. Fischer and Lina Felsner and Richard Osuala and Johannes Kiechle and Daniel M. Lang and Jan C. Peeken and Julia A. Schnabel},
journal= {arXiv preprint arXiv:2407.07853},
year = {2024}
}
备注
Accepted at MICCAI2024; Changes for Camera-Ready-Version for MICCAI2024 (missing in this arxiv submission): Replaced T-Test with Wilcoxon Signed Ranked Test, as DSC samples are not normally distributed => now only significant improvements and no significant decreases in performance for PGPS/PGPS+