基于区域分解的卷积神经网络模型并行训练与迁移学习
计算机视觉与模式识别
2024-08-27 v1 机器学习
数值分析
数值分析
摘要
深度卷积神经网络（CNN）已被证明在广泛的图像处理应用中非常成功。然而，由于其模型参数数量的增加以及大量训练数据的可用性日益增长，需要并行化策略来高效训练复杂的 CNN。在作者之前的工作中，提出了一种新颖的模型并行 CNN 架构，其灵感大致来源于区域分解。具体来说，这种新颖的网络架构基于将输入数据分解为更小的子图像。对于每个子图像，并行训练参数数量成比例减少的局部 CNN，然后通过一个密集前馈神经网络（DNN）在第二步中聚合得到的局部分类结果。在当前工作中，我们将得到的 CNN-DNN 架构与成本较低的替代方案进行比较，以将局部分类结果组合成最终的全局决策。此外，我们研究了将 CNN-DNN 作为一个连贯模型进行训练的性能，以及使用迁移学习策略的性能，其中预训练局部 CNN 的参数被用作后续训练的全局连贯 CNN-DNN 模型的初始值。
引用
@article{arxiv.2408.14442,
title = {Model Parallel Training and Transfer Learning for Convolutional Neural Networks by Domain Decomposition},
author = {Axel Klawonn and Martin Lanser and Janine Weber},
journal= {arXiv preprint arXiv:2408.14442},
year = {2024}
}