用于视觉识别的调度可微架构搜索
计算机视觉与模式识别
2019-09-24 v1
摘要
卷积神经网络（CNN）已被视为一类能胜任视觉识别问题的模型。然而，开发通用且强大的网络架构并非易事，需要人类专家的大量努力。本文中，我们引入一种新思路，在可微架构搜索（DAS）的改造之上自动探索架构，其通过梯度下降实现高效搜索。具体而言，我们提出调度可微架构搜索（SDAS）用于图像与视频识别，将训练过程中操作的选择与调度巧妙结合。从技术上讲，一个架构或一个单元被表示为有向图。我们的 SDAS 以渐进且调度的方式逐步固定图中的边上的操作，而非现有 DAS 在训练完成后一次性决定所有边的操作，后者可能使架构脆弱。此外，我们通过设计若干独特操作来编码时空动态，特别扩大了 SDAS 用于视频识别的搜索空间，并展示了其对 SDAS 架构搜索的影响。在 CIFAR10、Kinetics10、UCF101 和 HMDB51 数据集上进行了大量的架构学习实验，与 DAS 方法相比报告了更优的结果。更显著的是，我们的 SDAS 搜索比 DAS 快约 2 倍。将在 CIFAR10 和 Kinetics10 上学到的单元分别迁移到大规模 ImageNet 和 Kinetics400 数据集时，所构建的网络也优于若干最先进的（state-of-the-art）手工设计结构。
引用
@article{arxiv.1909.10236,
title = {Scheduled Differentiable Architecture Search for Visual Recognition},
author = {Zhaofan Qiu and Ting Yao and Yiheng Zhang and Yongdong Zhang and Tao Mei},
journal= {arXiv preprint arXiv:1909.10236},
year = {2019}
}