用于端侧多域视觉分类的多路径神经网络
计算机视觉与模式识别
2021-01-11 v2 人工智能
机器学习
摘要
用单一模型学习多个域/任务对于提高数据效率并降低众多视觉任务的推理成本十分重要，尤其在资源受限的移动设备上。然而，手工设计多域/任务模型既繁琐又具挑战性。本文提出一种新方法，自动学习用于移动设备上多域视觉分类的多路径网络。所提出的多路径网络通过神经架构搜索学习，对每个域应用一个强化学习控制器，在由类 MobileNetV3 搜索空间创建的超网络中选取最佳路径。提出了一种自适应平衡域优先级算法，以平衡同时在多域上优化联合模型。所确定的多路径模型在共享节点中跨域选择性共享参数，同时在各域路径的非共享节点内保留域特定参数。该方法有效减少了参数总量与 FLOPS，促进正向知识迁移并缓解跨域负干扰。在 Visual Decathlon 数据集上的大量评估表明，相较于其他使用类 MobileNetV3 架构的方法，所提出的多路径模型在准确率、模型大小和 FLOPS 方面均达到 state-of-the-art 性能。此外，与单独学习单域模型相比，所提方法平均准确率更高，且相较于简单捆绑单域模型进行多域学习的方法，参数总量和 FLOPS 分别减少 78% 和 32%。
引用
@article{arxiv.2010.04904,
title = {Multi-path Neural Networks for On-device Multi-domain Visual Classification},
author = {Qifei Wang and Junjie Ke and Joshua Greaves and Grace Chu and Gabriel Bender and Luciano Sbaiz and Alec Go and Andrew Howard and Feng Yang and Ming-Hsuan Yang and Jeff Gilbert and Peyman Milanfar},
journal= {arXiv preprint arXiv:2010.04904},
year = {2021}
}
备注
WACV 2021