宽度迁移：论宽度优化的（不变）性
计算机视觉与模式识别
2021-04-28 v1 机器学习
摘要
优化 CNN 不同层的通道数已在提升 CNN 测试时效率方面展现出巨大潜力。然而，这些方法常引入较大计算开销（例如标准训练的额外 2 倍 FLOPs）。因此，最小化该开销可显著加速训练。本工作中，我们提出宽度迁移，一种利用优化宽度（或通道数）在尺寸与深度上具规律性的假设的技术。我们表明宽度迁移在各种宽度优化算法与网络中均表现良好。具体而言，我们能在不损害 ImageNet 上 top-1 准确率的前提下，将宽度优化开销降低至多 320 倍，使宽度优化的额外成本相对于初始训练可忽略。我们的发现不仅提出了一种高效的宽度优化方式，也凸显出带来更优准确率的宽度对网络架构与训练数据的多方面具有不变性。
引用
@article{arxiv.2104.13255,
title = {Width Transfer: On the (In)variance of Width Optimization},
author = {Ting-Wu Chin and Diana Marculescu and Ari S. Morcos},
journal= {arXiv preprint arXiv:2104.13255},
year = {2021}
}
备注
Full paper accepted at CVPR Workshops 2021; a 4-page abridged version is accepted at ICLR 2021 NAS Workshop