面向图像识别的神经迁移与架构适配联合学习
摘要
当前最先进的视觉识别系统通常依赖以下流程：(a) 在大规模数据集（如 ImageNet）上预训练神经网络，以及 (b) 在较小的特定任务数据集上微调网络权重。此类流程假设仅权重适配便能基于固定架构适用于所有领域的强假设，将网络能力从一个领域迁移至另一领域。然而，每个具有不同识别目标的领域可能需要不同层次/路径的特征层级，其中某些神经元可能冗余，而另一些被重新激活以形成新的网络结构。本工作中，我们证明与现有仅调权重不顾架构的图像识别流程相比，为每个领域任务动态适配网络架构并辅以权重微调在效率与效果上均有益。我们的方法可通过在源领域任务中以自监督学习替代超网训练并在下游任务中执行线性评估，轻松推广至无监督范式。这进一步提升了我们方法的搜索效率。此外，我们还通过考察现有神经架构搜索的无效性，提供原理性与经验性分析以解释我们的方法为何有效。我们发现保持网络架构与权重的联合分布至关重要。该分析不仅有益于图像识别，也为构建神经网络提供见解。在行人重识别、年龄估计、性别识别、图像分类与无监督域适应等五个代表性图像识别任务上的实验证明了我们方法的有效性。
引用
@article{arxiv.2103.16889,
title = {Joint Learning of Neural Transfer and Architecture Adaptation for Image Recognition},
author = {Guangrun Wang and Liang Lin and Rongcong Chen and Guangcong Wang and Jiqi Zhang},
journal= {arXiv preprint arXiv:2103.16889},
year = {2021}
}
备注
To appear in IEEE Transactions ON Neural Networks and Learning Systems. We prove that dynamically adapting network architectures tailored for each domain task along with weight finetuning benefits in both efficiency and effectiveness, compared to the existing image recognition pipeline that only tunes the weights regardless of the architecture