开放世界持续学习：统一新颖性检测与持续学习
机器学习
2024-10-22 v2 人工智能
计算机视觉与模式识别
摘要
随着 AI 智能体越来越多地用于存在未知或新颖事物的真实开放世界，它们需要具备以下能力：(1) 识别 (a) 其先前已学习过的物体以及 (b) 检测其从未见过或学习过的项目，并且 (2) 增量地学习新项目以变得愈发知识渊博和强大。(1) 称为新颖性检测或分布外（OOD）检测，(2) 称为类增量学习（CIL），它是持续学习（CL）的一种设定。在现有研究中，OOD 检测与 CIL 被视为两个完全不同的问题。本文首先提供理论证明：对所学任务集合内每个任务的良好 OOD 检测（称为封闭世界 OOD 检测）是成功 CIL 的必要条件。我们通过将 CIL 分解为两个子问题：任务内预测（WP）和任务标识预测（TP），并证明 TP 与封闭世界 OOD 检测相关来展示这一点。关键理论结果是，无论 WP 和 OOD 检测（或 TP）是由 CIL 算法显式还是隐式定义，良好的 WP 和良好的封闭世界 OOD 检测都是良好 CIL 的必要且充分条件，从而统一了新颖性或 OOD 检测与持续学习（特别是 CIL）。我们称这种传统 CIL 为封闭世界 CIL，因为它不检测开放世界中的未来 OOD 数据。本文随后证明该理论可推广或扩展至开放世界 CIL，即所提出的开放世界持续学习，它能在开放世界中执行 CIL 并检测未来或开放世界 OOD 数据。基于理论结果，我们还设计了新的 CIL 方法，其在 CIL 准确率和持续 OOD 检测上大幅优于强基线。
引用
@article{arxiv.2304.10038,
title = {Open-World Continual Learning: Unifying Novelty Detection and Continual Learning},
author = {Gyuhak Kim and Changnan Xiao and Tatsuya Konishi and Zixuan Ke and Bing Liu},
journal= {arXiv preprint arXiv:2304.10038},
year = {2024}
}
备注
To appear in Artificial Intelligence Journal. arXiv admin note: substantial text overlap with arXiv:2211.02633