域感知动态网络
机器学习
2019-12-02 v1 计算机视觉与模式识别
分布式、并行与集群计算
机器学习
摘要
具有更多参数与 FLOPs 的深度神经网络具有更高容量，并对多样化域泛化更好。但为部署在边缘设备上，由于计算资源有限，模型复杂度必须受约束。本工作中，我们提出一种在不增加推理时复杂度的情况下提升模型容量的方法。我们的方法基于数据局部性假设：对边缘设备而言，在短期内，输入该设备的数据采样自单一且多样性相对较低的域。因此，可利用专门的低复杂度模型在该输入域上取得良好性能。为此，我们提出域感知动态网络（DDN），这是一种高容量动态网络，其每一层包含多个权重。推理时，DDN 基于输入域将这些权重动态组合为专用于给定域的单一权重。以此方式，DDN 可保持较低的推理时复杂度，同时维持高容量。实验表明，在不增加参数、FLOPs 与实际延迟的情况下，DDN 在 BDD100K 目标检测基准上比静态网络取得最高 2.6% 更高的 AP50。
引用
@article{arxiv.1911.13237,
title = {Domain-Aware Dynamic Networks},
author = {Tianyuan Zhang and Bichen Wu and Xin Wang and Joseph Gonzalez and Kurt Keutzer},
journal= {arXiv preprint arXiv:1911.13237},
year = {2019}
}