DyRep:通过动态重参数化引导训练
计算机视觉与模式识别
2022-03-25 v1 机器学习
摘要
结构重参数化 (Rep) 方法在简单的 VGG 风格网络上取得了显著提升。尽管应用广泛,当前的 Rep 方法只是将全部操作重参数化到一个增广网络中,包括那些极少贡献于模型性能的操作。因此,所付出的代价是操纵这些不必要行为带来的昂贵计算开销。为消除上述缺陷,我们旨在通过设计一种动态重参数化 (DyRep) 方法以最小代价引导训练,该方法将 Rep 技术编码进动态演化网络结构的训练过程中。具体而言,我们的方法自适应地找出网络中贡献于损失最大的操作,并应用 Rep 增强其表征能力。此外,为抑制 Rep 引入的含噪与冗余操作,我们设计了一种去参数化技术以实现更紧凑的重参数化。就此而言,DyRep 比 Rep 更高效,因为它平滑地演化给定网络而非构造一个过参数化网络。实验结果证明了我们的有效性,例如,DyRep 在 ImageNet 上将 ResNet-18 的准确率提升了 ,并较基线减少 运行时间。代码见:https://github.com/hunto/DyRep。
引用
@article{arxiv.2203.12868,
title = {DyRep: Bootstrapping Training with Dynamic Re-parameterization},
author = {Tao Huang and Shan You and Bohan Zhang and Yuxuan Du and Fei Wang and Chen Qian and Chang Xu},
journal= {arXiv preprint arXiv:2203.12868},
year = {2022}
}
备注
Accepted to CVPR 2022