架构、正则化与回放（ARR）：一种灵活的持续学习混合方法
机器学习
2023-01-09 v1 人工智能
计算机视觉与模式识别
神经与进化计算
摘要
近年来，我们见证了机器学习方法尤其是深度表示学习方法的重新兴起，这些方法能够克服基本的独立同分布假设，并处理受各种分布偏移或样本选择偏差影响的非平稳环境。在此背景下，基于架构先验、正则化器和回放策略的多种计算方法被提出，其成功程度不一，取决于它们被开发和评估的具体场景。然而，设计可灵活且普遍应用、具有可调效率-效果权衡的综合混合解决方案似乎仍是一个遥远的目标。在本文中，我们提出“架构、正则化与回放”（ARR），它是著名 AR1 算法及其变体的混合推广，能在经典场景（如类增量学习）中取得最先进结果，还能推广到由真实世界数据集（如 CIFAR-100、CORe50 和 ImageNet-1000）生成的任意数据流。
引用
@article{arxiv.2301.02464,
title = {Architect, Regularize and Replay (ARR): a Flexible Hybrid Approach for Continual Learning},
author = {Vincenzo Lomonaco and Lorenzo Pellegrini and Gabriele Graffieti and Davide Maltoni},
journal= {arXiv preprint arXiv:2301.02464},
year = {2023}
}
备注
Book Chapter Preprint: 15 pages, 7 figures, 2 tables. arXiv admin note: text overlap with arXiv:1912.01100