侧调：基于加性侧网络进行网络适应的基线方法
机器学习
2020-08-03 v4 计算机视觉与模式识别
神经与进化计算
机器人学
摘要
当为期望任务训练神经网络时，人们可能更倾向于调整预训练网络，而非从随机初始化权重开始。在数据稀缺、单一学习器需执行多任务、或希望在网络中编码先验时，适应都是有价值的。最常用的网络适应方法包括微调以及将预训练网络用作固定特征提取器等。本文中，我们提出一种直接的替代方案：侧调（side-tuning）。侧调通过训练一个轻量的“侧”网络来适应预训练网络，该侧网络通过求和与（未改变的）预训练网络融合。这一简单方法与现有方案效果相当或更优，并解决了微调、固定特征及其他常见方法的一些基本问题。特别地，侧调更不易过拟合、具有渐近一致性，且在增量学习中不遭受灾难性遗忘。我们在多种场景下展示了侧调的性能，包括增量学习（iCIFAR、iTaskonomy）、强化学习、模仿学习（Habitat 中的视觉导航）、NLP 问答（SQuAD v2）以及单任务迁移学习（Taskonomy），均取得了一致可期的结果。
引用
@article{arxiv.1912.13503,
title = {Side-Tuning: A Baseline for Network Adaptation via Additive Side Networks},
author = {Jeffrey O Zhang and Alexander Sax and Amir Zamir and Leonidas Guibas and Jitendra Malik},
journal= {arXiv preprint arXiv:1912.13503},
year = {2020}
}
备注
In ECCV 2020 (Spotlight). For more, see project website and code at http://sidetuning.berkeley.edu