DualHSIC：面向持续学习的 HSIC 瓶颈与对齐
机器学习
2023-05-02 v1
摘要
基于回放的方法是持续学习（CL）的主流。它们通过维护一个固定大小的小型缓冲区来存储过去任务的子集数据，从而缓解灾难性遗忘问题。虽然大多数基于回放的方法研究如何有效利用来自缓冲的过去数据的知识，但很少关注具有关键任务特定与任务不变知识的任务间关系。通过适当利用任务间关系，我们提出了一种新颖的 CL 方法 DualHSIC，以简单而有效的方式提升现有基于回放方法的性能。DualHSIC 由两个互补组件构成，均源于所谓的希尔伯特-施密特独立性准则（HSIC）：用于回放的 HSIC-瓶颈（HBR）减轻任务间干扰，HSIC 对齐（HA）促进任务不变知识共享。大量实验表明，DualHSIC 可无缝插入现有基于回放的方法中以带来一致的性能提升，并且也优于近期最先进的正则化增强回放方法。源代码将公开。
引用
@article{arxiv.2305.00380,
title = {DualHSIC: HSIC-Bottleneck and Alignment for Continual Learning},
author = {Zifeng Wang and Zheng Zhan and Yifan Gong and Yucai Shao and Stratis Ioannidis and Yanzhi Wang and Jennifer Dy},
journal= {arXiv preprint arXiv:2305.00380},
year = {2023}
}
备注
Accepted at ICML 2023 as a conference paper