基于高斯混合近似的序列函数空间变分推断
机器学习
2025-05-28 v2 机器学习
摘要
神经网络中的持续学习旨在学习新任务而不遗忘旧任务。序列函数空间变分推断（SFSVI）使用高斯变分分布来近似对应于有限个选定诱导点的神经网络输出分布。由于神经网络的后验分布是多模态的，高斯分布只能匹配后验分布的一个模态，而高斯混合分布可以更好地近似后验分布。我们提出了一种基于高斯混合变分分布的 SFSVI 方法。我们还比较了具有固定预训练特征提取器（在最后一层进行持续学习）和没有固定预训练特征提取器（在所有层进行持续学习）的不同类型的变分推断方法。我们发现，就最终平均准确率而言，以似然为重点的高斯混合 SFSVI 优于其他序列变分推断方法，尤其是在后一种情况下。
引用
@article{arxiv.2503.07114,
title = {Sequential Function-Space Variational Inference via Gaussian Mixture Approximation},
author = {Menghao Waiyan William Zhu and Pengcheng Hao and Ercan Engin Kuruoğlu},
journal= {arXiv preprint arXiv:2503.07114},
year = {2025}
}