面向高效表示学习的目标感知网络自适应
计算机视觉与模式识别
2018-10-03 v1 人工智能
摘要
本文提出一种自动网络自适应方法, 其为给定目标任务 (如图像分类) 寻找适宜的 ConvNet 结构, 以在迁移学习中兼顾效率与精度。我们称该概念为目标感知迁移学习。仅给定小规模标注数据, 并从 ImageNet 预训练网络出发, 我们利用一种通过逐层滤波器剪枝与网络优化的迭代操作来去除其对目标任务的潜在冗余的方案。基本动机在于, 紧凑网络一方面更高效, 且因其较低复杂度, 应更能容忍在迁移学习背景下阻碍所学表示泛化的过拟合风险。此外, 不同于涉及网络简化的现有方法, 我们还令该方案识别整个网络中的冗余部分, 从而自动产生适配当前任务的网络结构。我们通过若干新思路实现此点: (i) 各层激活统计的累积和, 以及 (ii) 跨多层剪枝的优先级评估。该方法在五个数据集 (Flower102、CUB200-2011、Dog120、MIT67 与 Stanford40) 上的实验结果显示, 在提升迁移模型的计算与存储效率的同时, 精度优于相关的当前最优技术。
引用
@article{arxiv.1810.01104,
title = {Target Aware Network Adaptation for Efficient Representation Learning},
author = {Yang Zhong and Vladimir Li and Ryuzo Okada and Atsuto Maki},
journal= {arXiv preprint arXiv:1810.01104},
year = {2018}
}
备注
Accepted by the ECCV'18 Workshops (2nd International Workshop on Compact and Efficient Feature Representation and Learning in Computer Vision)