L3DMC：基于混合曲率空间蒸馏的终身学习方法
机器学习
2023-08-02 v2 人工智能
摘要
当终身学习（L3）模型在一系列任务上训练时，其性能会下降，因为在顺序学习新概念时嵌入空间的几何形态会发生变化。现有大多数 L3 方法在固定曲率（例如零曲率欧几里得）空间上操作，这不一定适合对数据的复杂几何结构进行建模。此外，蒸馏策略直接将约束施加在低维嵌入上，使模型高度稳定，从而阻碍 L3 模型学习新概念。为解决该问题，我们提出一种名为 L3DMC 的蒸馏策略，该策略在混合曲率空间上操作，通过建模并维持复杂几何结构来保留已学知识。我们提出使用正定核函数将固定曲率空间（欧几里得与双曲）的投影低维嵌入嵌入到更高维的再生核希尔伯特空间（RKHS）中，以获得丰富表示。随后，我们通过最小化新样本表示与 RKHS 中使用旧表示构建的子空间之间的差异来优化 L3 模型。L3DMC 能够更好地适应新知识而不遗忘旧知识，因为它结合了多个固定曲率空间的表示能力，并在更高维 RKHS 上执行。在三个基准上的充分实验证明了我们所提蒸馏策略在 L3 设定下医学图像分类中的有效性。我们的代码实现公开于 https://github.com/csiro-robotics/L3DMC。
引用
@article{arxiv.2307.16459,
title = {L3DMC: Lifelong Learning using Distillation via Mixed-Curvature Space},
author = {Kaushik Roy and Peyman Moghadam and Mehrtash Harandi},
journal= {arXiv preprint arXiv:2307.16459},
year = {2023}
}
备注
MICCAI 2023 (Early Accept)