DeeSIL：深度-浅层增量学习
计算机视觉与模式识别
2018-08-21 v1 机器学习
摘要
增量学习（IL）是一种有趣的人工智能问题，其假设算法在资源受限条件下工作。当使用深度学习方法对 IL 建模时尤其如此，由于内存有限，会出现两个复杂挑战：灾难性遗忘以及为纳入新类所需的重新训练所带来的延迟。在此我们引入 DeeSIL，一种已知迁移学习方案的改进，它结合使用固定的深度表示作为特征提取器，并学习独立的浅层分类器以增加识别能力。该方案应对了上述两个挑战，因为它在有限内存预算下表现良好，且每个新概念可在一分钟内添加。此外，由于模型增量时无需深度重训练，DeeSIL 可整合更大量的初始数据，从而提供更可迁移的特征。我们在 ImageNet LSVRC 2012 上针对三种最先进（SOTA）算法评估了性能。结果表明，在规模上，当使用相同和更多初始数据时，DeeSIL 性能分别比最佳基线高 23 和 33 个点。
引用
@article{arxiv.1808.06396,
title = {DeeSIL: Deep-Shallow Incremental Learning},
author = {Eden Belouadah and Adrian Popescu},
journal= {arXiv preprint arXiv:1808.06396},
year = {2018}
}