DELTA：基于特征图与注意力的卷积网络深度学习迁移方法
机器学习
2020-05-14 v4 机器学习
摘要
利用在 ImageNet 等极大规模数据集上预训练的神经网络进行微调的迁移学习，可显著加速训练，但其精度常受新目标任务有限数据集大小的瓶颈限制。为解决该问题，已有一些正则化方法被研究，即利用起始点作为参考约束目标网络的外层权重（SPAR）。本文提出一种新颖的正则化迁移学习框架 DELTA，即基于特征图与注意力的深度学习迁移（DEep Learning Transfer using Feature Map with Attention）。DELTA 不约束神经网络权重，而是旨在保留目标网络的外层输出。具体而言，除最小化经验损失外，DELTA 还通过约束以有监督学习方式学到的注意力精确选出的特征图子集，来对齐两个网络的外层输出。我们将 DELTA 与包括 L2 和 L2-SP 在内的先进算法进行比较，实验结果表明所提方法在新任务上以更高精度优于这些基线。
引用
@article{arxiv.1901.09229,
title = {DELTA: DEep Learning Transfer using Feature Map with Attention for Convolutional Networks},
author = {Xingjian Li and Haoyi Xiong and Hanchao Wang and Yuxuan Rao and Liping Liu and Zeyu Chen and Jun Huan},
journal= {arXiv preprint arXiv:1901.09229},
year = {2020}
}
备注
Accepted at ICLR 2019