块梯度下降:在超大图像上训练神经网络
计算机视觉与模式识别
2023-02-01 v1
摘要
传统CNN模型在较低分辨率图像(<300 px)上训练和测试,由于计算和内存限制无法直接处理大规模图像。我们提出块梯度下降(PatchGD),一种有效的学习策略,允许以端到端方式在大规模图像上训练现有CNN架构。PatchGD基于如下假设:与其一次性对整幅图像进行基于梯度的更新,不如每次仅对图像的小块进行模型更新,并在迭代过程中确保覆盖其大部分区域,即可获得良好解。因此,PatchGD在大规模图像上训练模型时极大地提升了内存与计算效率。PatchGD在PANDA和UltraMNIST两个数据集上,于不同内存约束下使用ResNet50和MobileNetV2模型进行了充分评估。我们的评估清晰表明,在处理大图像尤其是计算内存受限时,PatchGD比标准梯度下降方法更稳定高效。
引用
@article{arxiv.2301.13817,
title = {Patch Gradient Descent: Training Neural Networks on Very Large Images},
author = {Deepak K. Gupta and Gowreesh Mago and Arnav Chavan and Dilip K. Prasad},
journal= {arXiv preprint arXiv:2301.13817},
year = {2023}
}