关于连续学习的序贯最大后验推断
机器学习
2025-03-11 v4
摘要
我们将序贯最大后验推断表述为损失函数的递归，并将连续学习问题简化为对先前损失函数的近似。然后，我们提出了两种无核心集的方法：自动微分二次整合，它使用精确且完整的二次近似；以及神经整合，它使用神经网络近似。这些方法在神经网络规模方面不可扩展，我们结合固定的预训练特征提取器，在分类任务中对其进行了研究。我们还引入了基于Iris和Wine数据集的简单但具有挑战性的经典任务序列。我们发现，神经整合在输入维度较小的经典任务序列中表现良好，而自动微分二次整合在具有固定预训练特征提取器的图像任务序列中表现始终良好，在许多情况下达到了与联合最大后验训练相当的性能。
引用
@article{arxiv.2405.16498,
title = {On Sequential Maximum a Posteriori Inference for Continual Learning},
author = {Menghao Waiyan William Zhu and Ercan Engin Kuruoğlu},
journal= {arXiv preprint arXiv:2405.16498},
year = {2025}
}