在Once-For-All网络中高效融入多延迟目标
机器学习
2020-12-15 v1
摘要
神经架构搜索已被证明是自动化架构设计的有效方法。该领域近期的工作致力于寻找受准确率与延迟等多目标约束的架构，以便在不同目标硬件上高效部署。Once-for-All (OFA) 便是这样一种方法，它解耦了训练与搜索，能够为不同的延迟约束找到高性能网络。然而，其搜索阶段在融入多延迟目标时效率低下。本文提出两种策略（自顶向下与自底向上），利用热启动与随机化网络剪枝，在 OFA 网络中高效融入多延迟目标。我们针对当前 OFA 实现评估了这些策略，结果表明我们的策略在显著缩短运行时间的同时，并未牺牲为每个延迟目标所找到子网络的准确率。我们进一步证明，这些性能提升可推广至 OFA 网络所使用的每一个设计空间。
引用
@article{arxiv.2012.06748,
title = {Efficient Incorporation of Multiple Latency Targets in the Once-For-All Network},
author = {Vidhur Kumar and Andrew Szidon},
journal= {arXiv preprint arXiv:2012.06748},
year = {2020}
}
备注
8 pages, 6 figures