停止边缘化我的梦想：基于拉普拉斯核的连续学习模型反演
机器学习
2026-05-13 v1 计算机视觉与模式识别
摘要
数据无关连续学习（DFCIL）依赖模型反演来合成伪样本以缓解灾难性遗忘。然而，现有反演方法受限于一个根本性假设：即使用对角协方差建模特征分布，实际忽略了定义已学习表征几何的相关性。结果，合成样本常缺乏保真度，限制了知识保留。本文表明，建模特征依赖关系是有效 DFCIL 的关键要素。我们引入 REMIX，一个结构化协方差建模框架，使其能够在不进行密集矩阵反演和行列式计算的前提下实现可扩展的全协方差建模。通过采用拉普拉斯核参数化，REMIX 使用线性内存即可捕获结构化特征依赖，计算复杂度仅增加对数因子。建模这些相关性产生更连贯的合成样本，并在标准 DFCIL 基准测试中持续提升性能。我们的实验表明，超越对角假设对于有效且可扩展的数据无关连续学习至关重要。我们的代码已公开于 https://github.com/pkrukowski1/REMIX-Model-Inversion-via-Laplace-Kernel。
引用
@article{arxiv.2605.11804,
title = {Stop Marginalizing My Dreams: Model Inversion via Laplace Kernel for Continual Learning},
author = {Patryk Krukowski and Jacek Tabor and Przemysław Spurek and Marek Śmieja and Łukasz Struski},
journal= {arXiv preprint arXiv:2605.11804},
year = {2026}
}