培育大脑：通过增加模型容量进行微调
计算机视觉与模式识别
2019-07-19 v1 机器学习
摘要
CNN凭借在大型标注训练集上学习高容量模型的能力，对计算机视觉产生了不可否认的影响。其显著特性之一是将知识从大型源数据集迁移到（通常较小的）目标数据集。这通常通过对固定尺寸网络在新目标数据上微调来实现。事实上，几乎所有当代视觉识别系统都利用微调从ImageNet迁移知识。本工作中，我们分析微调过程中哪些组件和参数发生变化，发现增加模型容量可通过微调实现更自然的模型适配。通过类比发展式学习，我们证明用新增单元“培育”CNN（加宽现有层或加深整体网络）显著优于经典微调方法。但为恰当培育网络，我们表明新增单元必须被适当归一化，以使其学习节奏与现有单元一致。我们在多个基准数据集上实证验证了该方法，取得了state-of-the-art结果。
引用
@article{arxiv.1907.07844,
title = {Growing a Brain: Fine-Tuning by Increasing Model Capacity},
author = {Yu-Xiong Wang and Deva Ramanan and Martial Hebert},
journal= {arXiv preprint arXiv:1907.07844},
year = {2019}
}
备注
CVPR