关于持续学习求解的理论研究
机器学习
2022-11-07 v1 人工智能
计算机视觉与模式识别
摘要
持续学习（CL）以增量方式学习一系列任务。CL 有两种流行的设置：类增量学习（CIL）和任务增量学习（TIL）。CL 的一个主要挑战是灾难性遗忘（CF）。尽管已有许多技术可有效克服 TIL 中的 CF，但 CIL 仍然极具挑战性。迄今为止，鲜有理论研究为如何解决 CIL 问题提供原则性指导。本文进行了此类研究。它首先表明，从概率上看，CIL 问题可分解为两个子问题：任务内预测（WP）和任务标识预测（TP）。它进一步证明 TP 与分布外（OOD）检测相关，从而将 CIL 与 OOD 检测联系起来。本研究的关键结论是：无论 WP 和 TP 或 OOD 检测是由 CIL 算法显式还是隐式定义，良好的 WP 与良好的 TP 或 OOD 检测都是良好 CIL 性能的充要条件。此外，TIL 仅仅是 WP。基于该理论结果，本文还设计了新的 CIL 方法，在 CIL 和 TIL 设置下均以大幅优势优于强基线。
引用
@article{arxiv.2211.02633,
title = {A Theoretical Study on Solving Continual Learning},
author = {Gyuhak Kim and Changnan Xiao and Tatsuya Konishi and Zixuan Ke and Bing Liu},
journal= {arXiv preprint arXiv:2211.02633},
year = {2022}
}
备注
NeurIPS 2022