Ex-Model：来自训练模型流的持续学习
机器学习
2021-12-14 v1 人工智能
计算机视觉与模式识别
摘要
从非平稳数据流中持续学习是近年来日益受到关注且具有挑战性的研究课题。能够以高效、有效且可扩展的方式持续学习、适应和泛化，对于人工智能系统的可持续发展至关重要。然而，以智能体为中心持续学习视角要求直接从原始数据学习，这限制了独立智能体之间的交互，以及当前方法的效率与隐私性。相反，我们认为持续学习系统应当利用以训练模型形式存在的压缩信息。本文中，我们引入并形式化了一种称为“Ex-Model 持续学习”（ExML）的新范式，其中智能体从一系列先前训练好的模型而非原始数据中学习。我们进一步提出了三种 ex-model 持续学习算法以及一个包含三个数据集（MNIST、CIFAR-10 和 CORe50）和八种场景的经验设定，对所提算法进行了广泛测试。最后，我们强调了 ex-model 范式的特性，并指出了有趣的未来研究方向。
引用
@article{arxiv.2112.06511,
title = {Ex-Model: Continual Learning from a Stream of Trained Models},
author = {Antonio Carta and Andrea Cossu and Vincenzo Lomonaco and Davide Bacciu},
journal= {arXiv preprint arXiv:2112.06511},
year = {2021}
}