基于辅助变量网络的残差网络层并行训练
机器学习
2021-12-13 v1 人工智能
动力系统
摘要
基于梯度的残差网络(ResNets)分布式训练方法通常需要对输入数据进行一次前向传播，随后反向传播误差梯度以更新模型参数，随着网络加深，这一过程变得十分耗时。为打破算法锁定并在前向与反向两种模式下利用同步模块并行性，辅助变量方法近来备受关注，但其存在显著的通信开销且缺乏数据增强。本文通过建立在外存辅助变量的存储与重计算之间权衡的机制，构建了一种在多计算设备上训练实际ResNets的新型联合学习框架。具体而言，每个独立处理器的输入数据由其低容量辅助网络(AuxNet)生成，从而允许使用数据增强并实现前向解锁。随后并行执行反向传播，各自采用源自罚函数或增广拉格朗日(AL)方法的局部损失函数。最后，所提出的AuxNet通过端到端训练过程来复现更新后的辅助变量。我们在CIFAR-10、CIFAR-100和ImageNet数据集上的ResNets与WideResNets上验证了方法的有效性，在保持相当测试精度的同时，相较传统层串行训练方法实现了加速。
引用
@article{arxiv.2112.05387,
title = {Layer-Parallel Training of Residual Networks with Auxiliary-Variable Networks},
author = {Qi Sun and Hexin Dong and Zewei Chen and Jiacheng Sun and Zhenguo Li and Bin Dong},
journal= {arXiv preprint arXiv:2112.05387},
year = {2021}
}