基于全注意力与上下文自回归的神经架构搜索
计算机视觉与模式识别
2021-11-16 v1 机器学习
摘要
自注意力架构已成为近期提升视觉任务性能的进展。手动确定自注意力网络的架构依赖专家经验，且无法自动适应各种场景。同时，神经架构搜索（NAS）已显著推动了神经架构的自动设计。因此，考虑使用 NAS 方法自动发现更优的自注意力架构是恰当的。然而，由于统一的基于单元（cell）的搜索空间以及缺乏长期内容依赖，直接使用现有 NAS 方法搜索注意力网络具有挑战性。为解决此问题，我们提出了一种基于全注意力的 NAS 方法。更具体地，构建了分阶段搜索空间，允许网络不同层采用不同的注意力操作。为提取全局特征，提出了一种利用上下文自回归发现全注意力架构的自监督搜索算法。为验证所提方法的有效性，我们在多种学习任务上进行了大量实验，包括图像分类、细粒度图像识别和零样本图像检索。实证结果有力表明，我们的方法能够在保证所需搜索效率的同时，发现高性能的全注意力架构。
引用
@article{arxiv.2111.07139,
title = {Full-attention based Neural Architecture Search using Context Auto-regression},
author = {Yuan Zhou and Haiyang Wang and Shuwei Huo and Boyu Wang},
journal= {arXiv preprint arXiv:2111.07139},
year = {2021}
}