通过深度适应的增量学习
计算机视觉与模式识别
2018-02-15 v2 机器学习
摘要
给定一个已训练好的神经网络，通常希望学习新能力而不妨碍已学习能力的性能。现有方法要么学习次优解，要么需要联合训练，要么为每个添加的领域带来参数数量的显著增加，通常与原网络一样多。我们提出一种称为深度适应网络（Deep Adaptation Networks, DAN）的方法，其约束新学习的滤波器为现有滤波器的线性组合。DAN 精确保持原始领域上的性能，与标准微调过程相比仅需参数数量的一小部分（通常 13\%，取决于网络架构），并且在更少的训练周期内收敛到相当或更好的性能水平。当与标准网络量化技术结合时，我们进一步将参数代价降低到原始的约 3\%，且精度损失可忽略或无损失。所学习的架构可被控制以在不同学习到的表示之间切换，使单个网络能够解决来自多个不同领域的任务。我们进行了大量实验，展示了我们的方法在一系列图像分类任务上的有效性，并探讨了其行为的不同方面。
引用
@article{arxiv.1705.04228,
title = {Incremental Learning Through Deep Adaptation},
author = {Amir Rosenfeld and John K. Tsotsos},
journal= {arXiv preprint arXiv:1705.04228},
year = {2018}
}
备注
Extended version