NPCL：用于不确定性感知持续学习的神经过程
机器学习
2023-10-31 v1 人工智能
计算机视觉与模式识别
摘要
持续学习（CL）旨在以高效的方式在流式数据上训练深度神经网络，同时限制由新任务引起的遗忘。然而，学习任务间干扰小且可迁移的知识十分困难，并且 CL 模型在现实世界中的部署受限于其无法度量预测不确定性。为解决这些问题，我们提出用神经过程（NPs）来处理 CL 任务；NPs 是一类元学习器，将不同任务编码为函数上的概率分布，同时提供可靠的不确定性估计。具体而言，我们提出一种基于 NP 的 CL 方法（NPCL），其任务特定模块以分层潜变量模型排列。我们对学到的潜分布定制正则化项以缓解遗忘。NPCL 的不确定性估计能力还可用于处理 CL 中的任务头/模块推断难题。我们的实验表明 NPCL 优于以往的 CL 方法。我们验证了 NPCL 中不确定性估计在识别新颖数据以及评估实例级模型置信度方面的有效性。代码见 \url{https://github.com/srvCodes/NPCL}。
引用
@article{arxiv.2310.19272,
title = {NPCL: Neural Processes for Uncertainty-Aware Continual Learning},
author = {Saurav Jha and Dong Gong and He Zhao and Lina Yao},
journal= {arXiv preprint arXiv:2310.19272},
year = {2023}
}
备注
Accepted as a poster at NeurIPS 2023