CompOFA：用于更快多平台部署的复合一次训练全用网络
计算机视觉与模式识别
2021-04-27 v1 机器学习
摘要
CNN 在主流部署中的出现使得需要设计并训练高效架构的方法，以在多样的硬件与延迟约束下最大化准确率。为随部署目标数量增长而扩展这些资源密集型任务，一次训练全用（OFA）提出了一种以恒定训练成本联合训练多个模型的方法。然而，该成本仍高达 40-50 GPU 天，并且还遭受次优模型配置的组合爆炸。我们试图通过约束搜索至接近准确率-延迟 Pareto 前沿的模型来缩减该搜索空间——从而降低训练预算。我们结合模型维度间复合关系的洞见来构建 CompOFA，一个量级上小得多的设计空间。通过在 ImageNet 上的实验，我们证明即便使用简单启发式，也能相较 SOTA 实现 2 倍训练时间缩减与 216 倍模型搜索/提取时间加速，且不损失 Pareto 最优性！我们还表明该更小的设计空间足够稠密，可在相似的硬件与延迟目标多样性下支持同等准确的模型，同时降低训练及后续提取算法的复杂度。
引用
@article{arxiv.2104.12642,
title = {CompOFA: Compound Once-For-All Networks for Faster Multi-Platform Deployment},
author = {Manas Sahni and Shreya Varshini and Alind Khare and Alexey Tumanov},
journal= {arXiv preprint arXiv:2104.12642},
year = {2021}
}
备注
Published as a conference paper at ICLR 2021